Discrete Reasoning Over Paragraphs (DROP): differenze tra le versioni

Versione delle 14:50, 28 feb 2024

Intro

Il benchmark "DROP" (Discrete Reasoning Over Paragraphs) è stato introdotto per affrontare la sfida della comprensione di testi che richiede un ragionamento discreto. Questo benchmark è stato creato con l'obiettivo di spingere i sistemi di intelligenza artificiale a non solo comprendere il contenuto dei paragrafi ma anche a eseguire operazioni discrete su di essi, come l'addizione, il conteggio o l'ordinamento. DROP si distingue per il suo bisogno di una comprensione molto più profonda dei testi, poiché richiede la risoluzione di riferimenti in una domanda, forse verso più posizioni di input, e l'esecuzione di operazioni discrete su questi riferimenti. Le domande di DROP consistono in passaggi estratti da articoli di Wikipedia, rendendolo un compito ad ampio dominio che richiede una comprensione approfondita del paragrafo. DROP mira a incoraggiare la ricerca su metodi che combinano approcci neurali con ragionamento simbolico discreto, rappresentando una sfida significativa per i sistemi di comprensione della lettura attuali e futuri.

Esempi

Esempio 1

Passage ( è un brano di testo fornito al modello come contesto per le domande che seguiranno.)

   Per iniziare la stagione, i Lions sono viaggiati verso sud fino a Tampa, Florida per affrontare i Tampa Bay Buccaneers. I Lions hanno segnato per primi nel primo quarto con un field goal da 23 yard di Jason Hanson. I Buccaneers hanno pareggiato con un field goal da 38 yard di Connor Barth, poi hanno preso il comando quando Aqib Talib ha intercettato un passaggio di Matthew Stafford e l'ha portato in touchdown per 28 yard. I Lions hanno risposto con un field goal da 28 yard. Nel secondo quarto, Detroit ha preso il comando con una ricezione da touchdown di 36 yard da Calvin Johnson, e più tardi hanno aggiunto altri punti quando Tony Scheffler ha ricevuto un passaggio da TD di 11 yard. Tampa Bay ha risposto con un field goal da 31 yard poco prima dell'intervallo. La seconda metà è stata relativamente tranquilla, con ogni squadra che ha segnato solo un touchdown. Prima, Calvin Johnson di Detroit ha ricevuto un passaggio da 1 yard nel terzo quarto. I punti finali del gioco sono arrivati quando Mike Williams di Tampa Bay ha ricevuto un passaggio da 5 yard. I Lions hanno vinto la loro partita inaugurale della stagione regolare per la prima volta dal 2007.

question (è una domanda posta in relazione al "passage" di cui sopra.)

   Quanti punti avevano bisogno i Buccaneers per pareggiare nel primo quarto?

answer_spans (indica la porzione del "passage" che contiene la risposta alla "question".)

Esempio 2

Passage ( è un brano di testo fornito al modello come contesto per le domande che seguiranno.)

   Cercando di interrompere una serie negativa di due partite, i Bills volarono allo Gillette Stadium per uno scontro divisionale della settimana 3 con i New England Patriots. Nel primo quarto, il QB J. P. Losman fu subito infortunato nella prima azione offensiva della partita. Riuscì a terminare la serie, ma finì in panchina per il resto della partita. Dopo che New England prese il comando con il field goal da 24 yard del kicker Stephen Gostkowski, il QB rookie Trent Edwards giocò per il resto della partita per Buffalo. I Bills ottennero il loro unico punteggio della partita quando il RB Marshawn Lynch fece una corsa da TD di 8 yard, e un punto extra di Rian Lindell mise sorprendentemente avanti i Bills per 7-3. Tuttavia, nel secondo quarto, i Patriots furono in grado di aprire il loro gioco di corsa quando il rookie di spicco dei Bills Paul Posluszny fu perso a causa di un braccio rotto. Ciò lasciò aperte le corsie di passaggio e, per il resto della partita, i Patriots dominarono. Un passaggio da TD di 8 yard del QB Tom Brady al TE Benjamin Watson e un passaggio da TD di 3 yard al WR Randy Moss portarono il punteggio sul 17-7 all'intervallo. Nel terzo quarto, New England continuò la sua conquista con il passaggio da TD di 4 yard di Brady al WR Jabar Gaffney e la corsa da TD di 4 yard del RB Sammy Morris. Nel quarto quarto, i Patriots terminarono la giornata con Brady e Moss che si collegarono di nuovo con un passaggio da TD di 45 yard.

question (è una domanda posta in relazione al "passage" di cui sopra.)

   Quante partite avevano vinto i Bills prima di questa partita?

answer_spans (indica la porzione del "passage" che contiene la risposta alla "question".)

Link

DROP (Discrete Reasoning Over Paragraphs)

@@ Riga 1: / Riga 1: @@
 == Intro ==
-Il benchmark "DROP" (Discrete Reasoning Over Paragraphs) è stato introdotto per affrontare la sfida della comprensione di testi che richiede un ragionamento discreto. Questo benchmark è stato creato con l'obiettivo di spingere i sistemi di intelligenza artificiale a non solo comprendere il contenuto dei paragrafi ma anche a eseguire operazioni discrete su di essi, come l'addizione, il conteggio o l'ordinamento. DROP si distingue per il suo bisogno di una comprensione molto più profonda dei testi, poiché richiede la risoluzione di riferimenti in una domanda, forse verso più posizioni di input, e l'esecuzione di operazioni discrete su questi riferimenti. Le domande di DROP consistono in passaggi estratti da articoli di Wikipedia, rendendolo un compito ad ampio dominio che richiede una comprensione approfondita del paragrafo.
+'''Il benchmark "DROP" (Discrete Reasoning Over Paragraphs)''' è stato introdotto per affrontare la sfida della comprensione di testi che richiede un ragionamento discreto. Questo benchmark è stato creato con l'obiettivo di spingere i sistemi di intelligenza artificiale a non solo comprendere il contenuto dei paragrafi ma anche a eseguire operazioni discrete su di essi, come l'addizione, il conteggio o l'ordinamento. DROP si distingue per il suo bisogno di una comprensione molto più profonda dei testi, poiché richiede la risoluzione di riferimenti in una domanda, forse verso più posizioni di input, e l'esecuzione di operazioni discrete su questi riferimenti. Le domande di DROP consistono in passaggi estratti da articoli di Wikipedia, rendendolo un compito ad ampio dominio che richiede una comprensione approfondita del paragrafo.
 DROP mira a incoraggiare la ricerca su metodi che combinano approcci neurali con ragionamento simbolico discreto, rappresentando una sfida significativa per i sistemi di comprensione della lettura attuali e futuri.
 == Esempi ==