AI2 Reasoning Challenge (Arc C)

Intro

Il benchmark ARC si concentra in particolare sulla capacità dei modelli di AI di rispondere a domande di scienza di livello scolastico, coprendo una vasta gamma di argomenti e richiedendo una comprensione approfondita e il ragionamento oltre la mera capacità di cercare informazioni o utilizzare conoscenze superficiali.

Esempi

• Esempio 1

Domanda:

   "George vuole riscaldare le sue mani rapidamente strofinandole. Quale superficie della pelle produrrà più calore?"

Opzioni di risposta

   A) palmi asciutti
   B) palmi bagnati
   C) palmi coperti di olio
   D) palmi coperti di lozione

Risposta:

   "A)"

• Esempio 2

Domanda:

   "Quale delle seguenti è una caratteristica che un cane NON eredita dai suoi genitori?"

Opzioni di risposta

   A) la lunghezza del suo pelo
   B) la forma del suo naso
   C) la grandezza del suo appetito
   D) il colore del suo pelo

Risposta:

   "C)"

Link

• ARC (AI2 Reasoning Challenge)