Discrete Reasoning Over Paragraphs (DROP)

Discrete Reasoning Over Paragraphs (DROP)
Nome	DROP
Sigla	DROP
Anno di creazione	2019
URLHomePage	https://paperswithcode.com/dataset/drop
Pubblicazione	DROP (Discrete Reasoning Over Paragraphs)

Il benchmark "DROP" (Discrete Reasoning Over Paragraphs) è stato introdotto per affrontare la sfida della comprensione di testi che richiede un ragionamento discreto. Questo benchmark è stato creato con l'obiettivo di spingere i sistemi di intelligenza artificiale a non solo comprendere il contenuto dei paragrafi ma anche a eseguire operazioni discrete su di essi, come l'addizione, il conteggio o l'ordinamento.

Esempi

Esempio 1

• Passage ( è un brano di testo fornito al modello come contesto per le domande che seguiranno.)

   Per iniziare la stagione, i Lions sono viaggiati verso sud fino a Tampa, Florida per affrontare i Tampa Bay Buccaneers. I Lions hanno segnato per primi nel primo quarto con un field goal da 23 yard di Jason Hanson. I Buccaneers hanno pareggiato con un field goal da 38 yard di Connor Barth, poi hanno preso il comando quando Aqib Talib ha intercettato un passaggio di Matthew Stafford e l'ha portato in touchdown per 28 yard. I Lions hanno risposto con un field goal da 28 yard. Nel secondo quarto, Detroit ha preso il comando con una ricezione da touchdown di 36 yard da Calvin Johnson, e più tardi hanno aggiunto altri punti quando Tony Scheffler ha ricevuto un passaggio da TD di 11 yard. Tampa Bay ha risposto con un field goal da 31 yard poco prima dell'intervallo. La seconda metà è stata relativamente tranquilla, con ogni squadra che ha segnato solo un touchdown. Prima, Calvin Johnson di Detroit ha ricevuto un passaggio da 1 yard nel terzo quarto. I punti finali del gioco sono arrivati quando Mike Williams di Tampa Bay ha ricevuto un passaggio da 5 yard. I Lions hanno vinto la loro partita inaugurale della stagione regolare per la prima volta dal 2007.

• question (è una domanda posta in relazione al "passage" di cui sopra.)

   Quanti punti avevano bisogno i Buccaneers per pareggiare nel primo quarto?

• answer_spans (indica la porzione del "passage" che contiene la risposta alla "question".)

   3

Esempio 2

• Passage ( è un brano di testo fornito al modello come contesto per le domande che seguiranno.)

   Cercando di interrompere una serie negativa di due partite, i Bills volarono allo Gillette Stadium per uno scontro divisionale della settimana 3 con i New England Patriots. Nel primo quarto, il QB J. P. Losman fu subito infortunato nella prima azione offensiva della partita. Riuscì a terminare la serie, ma finì in panchina per il resto della partita. Dopo che New England prese il comando con il field goal da 24 yard del kicker Stephen Gostkowski, il QB rookie Trent Edwards giocò per il resto della partita per Buffalo. I Bills ottennero il loro unico punteggio della partita quando il RB Marshawn Lynch fece una corsa da TD di 8 yard, e un punto extra di Rian Lindell mise sorprendentemente avanti i Bills per 7-3. Tuttavia, nel secondo quarto, i Patriots furono in grado di aprire il loro gioco di corsa quando il rookie di spicco dei Bills Paul Posluszny fu perso a causa di un braccio rotto. Ciò lasciò aperte le corsie di passaggio e, per il resto della partita, i Patriots dominarono. Un passaggio da TD di 8 yard del QB Tom Brady al TE Benjamin Watson e un passaggio da TD di 3 yard al WR Randy Moss portarono il punteggio sul 17-7 all'intervallo. Nel terzo quarto, New England continuò la sua conquista con il passaggio da TD di 4 yard di Brady al WR Jabar Gaffney e la corsa da TD di 4 yard del RB Sammy Morris. Nel quarto quarto, i Patriots terminarono la giornata con Brady e Moss che si collegarono di nuovo con un passaggio da TD di 45 yard.

• question (è una domanda posta in relazione al "passage" di cui sopra.)

   Quante partite avevano vinto i Bills prima di questa partita?

• answer_spans (indica la porzione del "passage" che contiene la risposta alla "question".)

   0

Strategie per risposte mirate nei Modelli di Linguaggio

Per testare i modelli di linguaggio di grandi dimensioni (LLM) su benchmark come DROP (Dataset for Reasoning over Paragraphs), i ricercatori impiegano strategie di prompting e parsing specifiche per assicurarsi che i modelli siano in grado di comprendere e rispondere a domande complesse basate su paragrafi, spesso richiedendo abilità di ragionamento numerico, comprensione del testo, e inferenza.

Preparazione del Prompt

Nel caso di DROP, il prompt è particolarmente importante perché le domande possono richiedere al modello di eseguire operazioni complesse, come l'addizione o la sottrazione di numeri trovati nel testo, o di identificare eventi in sequenze temporali. Il prompt fornito al modello include:

• Il paragrafo di riferimento: un testo che contiene le informazioni necessarie per rispondere alla domanda.
• La domanda: formulata in modo chiaro per indicare che tipo di risposta o operazione è richiesta.
• Formato di risposta richiesto: può essere specificato se la risposta deve essere un numero, una data, un evento, ecc.

Generazione della Risposta

Per garantire che il modello generi solo la risposta specifica richiesta, senza introdurre contesto non necessario, i ricercatori possono:

• Limitare la lunghezza della risposta: impostare un limite alla lunghezza dell'output del modello per incoraggiarlo a generare risposte concise.
• Usare un prompt chiaro e diretto: formulare il prompt in modo che indichi esplicitamente al modello di fornire solo la risposta richiesta, senza ulteriori elaborazioni o contesto.
• Post-elaborazione dell'output: in alcuni casi, l'output del modello viene post-elaborato per estrarre solo la parte pertinente, specialmente quando si richiede una risposta numerica o una data specifica.

Parsing dell'Output

Il parsing dell'output generato dai modelli in contesti come DROP richiede un'attenzione particolare, soprattutto perché le risposte possono essere numeriche o richiedere una forma specifica. Questo processo può includere:

• Estrazione di informazioni specifiche: utilizzare metodi di estrazione dell'informazione per identificare e isolare numeri, date, o altri dettagli specifici richiesti dalla domanda.
• Validazione della risposta: applicare regole di validazione per assicurarsi che l'output sia nel formato corretto e rispetti i vincoli della domanda (ad esempio, che sia effettivamente un numero se la risposta richiede calcoli numerici).
• Uso di tecniche di NLP per il parsing: tecniche di elaborazione del linguaggio naturale possono essere impiegate per analizzare l'output del modello e determinare la correttezza della risposta in base al contesto fornito dalla domanda e dal paragrafo di riferimento.

Link

• DROP (Discrete Reasoning Over Paragraphs)
• Dataset DROP