AI2 Reasoning Challenge (Arc C)

Intro

Il benchmark ARC Challenge ("AI2 Reasoning Challenge") è un insieme di test progettato per valutare la capacità dei sistemi di intelligenza artificiale (IA) di eseguire ragionamento complesso e di senso comune. Il benchmark ARC si concentra in particolare sulla capacità dei modelli di AI di rispondere a domande di scienza di livello scolastico, coprendo una vasta gamma di argomenti e richiedendo una comprensione approfondita e il ragionamento oltre la mera capacità di cercare informazioni o utilizzare conoscenze superficiali.

Esempi

• Esempio 1

Domanda:

   "George vuole riscaldare le sue mani rapidamente strofinandole. Quale superficie della pelle produrrà più calore?"

Opzioni di risposta:

   A) palmi asciutti
   B) palmi bagnati
   C) palmi coperti di olio
   D) palmi coperti di lozione

Risposta:

   "A)"

• Esempio 2

Domanda:

   "Quale delle seguenti è una caratteristica che un cane NON eredita dai suoi genitori?"

Opzioni di risposta:

   A) la lunghezza del suo pelo
   B) la forma del suo naso
   C) la grandezza del suo appetito
   D) il colore del suo pelo

Risposta:

   "C)"

Link

• ARC (AI2 Reasoning Challenge)
• Dataset Arc C