WinoGrande - Cronologia

Mindmakerbot il 13:47, 17 ago 2024

2024-08-17T13:47:15Z

← Versione meno recente		Versione delle 13:47, 17 ago 2024
Riga 71:		Riga 71:
	\|title=WinoGrande		\|title=WinoGrande
	\|title_mode=append		\|title_mode=append
	\|keywords="WinoGrande, intelligenza artificiale, IA, ragionamento di senso comune, comprensione del testo, analisi linguistica, set di dati, benchmark, Adversarial Filtering, AF, modelli di linguaggio"		\|keywords=WinoGrande, intelligenza artificiale, IA, ragionamento di senso comune, comprensione del testo, analisi linguistica, set di dati, benchmark, Adversarial Filtering, AF, modelli di linguaggio
	\|description="WinoGrande è un benchmark progettato per valutare la capacità dei modelli di intelligenza artificiale di applicare il senso comune. Il set di dati si concentra su enigmi e compiti di comprensione del testo che richiedono un ragionamento logico e causale. Winogrande utilizza l'Adversarial Filtering per selezionare le domande più difficili, garantendo una sfida significativa per i modelli di IA."		\|description=WinoGrande è un benchmark progettato per valutare la capacità dei modelli di intelligenza artificiale di applicare il senso comune. Il set di dati si concentra su enigmi e compiti di comprensione del testo che richiedono un ragionamento logico e causale. Winogrande utilizza l'Adversarial Filtering per selezionare le domande più difficili, garantendo una sfida significativa per i modelli di IA.

	}}		}}

Mindmakerbot il 13:33, 17 ago 2024

2024-08-17T13:33:44Z

← Versione meno recente		Versione delle 13:33, 17 ago 2024
Riga 67:		Riga 67:
	* [https://paperswithcode.com/dataset/winogrande WinoGrande]		* [https://paperswithcode.com/dataset/winogrande WinoGrande]
	* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]		* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]

			{{#seo:
			\|title=WinoGrande
			\|title_mode=append
			\|keywords="WinoGrande, intelligenza artificiale, IA, ragionamento di senso comune, comprensione del testo, analisi linguistica, set di dati, benchmark, Adversarial Filtering, AF, modelli di linguaggio"
			\|description="WinoGrande è un benchmark progettato per valutare la capacità dei modelli di intelligenza artificiale di applicare il senso comune. Il set di dati si concentra su enigmi e compiti di comprensione del testo che richiedono un ragionamento logico e causale. Winogrande utilizza l'Adversarial Filtering per selezionare le domande più difficili, garantendo una sfida significativa per i modelli di IA."

			}}

Mindmakerbot il 11:40, 17 ago 2024

2024-08-17T11:40:57Z

@@ Riga 1: / Riga 1: @@
-Nome: [[Nome::WinoGrande]]
+{{Template benchmark
 == Intro ==
 Winogrande mira a valutare la capacità dei modelli di IA di applicare il senso comune per risolvere enigmi e compiti di comprensione del testo che richiedono più di una semplice analisi linguistica o statistica. Rispetto a set di dati simili come WSC, Winogrande offre una collezione di problemi più ampia e variata, riducendo la possibilità di sfruttare scorciatoie o bias nei dati per risolvere i problemi. Ogni domanda è formulata attorno a una frase o a un piccolo paragrafo che presenta una situazione ambigua o un enigma che richiede la comprensione del contesto e delle relazioni causali o logiche per essere risolto.
@@ Riga 69: / Riga 67: @@
 * [https://paperswithcode.com/dataset/winogrande WinoGrande]
 * [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]

Sara Maserati il 15:10, 11 apr 2024

2024-04-11T15:10:49Z

← Versione meno recente		Versione delle 15:10, 11 apr 2024
Riga 1:		Riga 1:
			Nome: [[Nome::WinoGrande]]

			Anno di creazione: [[AnnoDiCreazione::2019]]

			URLHomePage: [https://paperswithcode.com/dataset/winogrande HomePage WinoGrande]


			__SHOWFACTBOX__
	== Intro ==		== Intro ==
	Winogrande mira a valutare la capacità dei modelli di IA di applicare il senso comune per risolvere enigmi e compiti di comprensione del testo che richiedono più di una semplice analisi linguistica o statistica. Rispetto a set di dati simili come WSC, Winogrande offre una collezione di problemi più ampia e variata, riducendo la possibilità di sfruttare scorciatoie o bias nei dati per risolvere i problemi. Ogni domanda è formulata attorno a una frase o a un piccolo paragrafo che presenta una situazione ambigua o un enigma che richiede la comprensione del contesto e delle relazioni causali o logiche per essere risolto.		Winogrande mira a valutare la capacità dei modelli di IA di applicare il senso comune per risolvere enigmi e compiti di comprensione del testo che richiedono più di una semplice analisi linguistica o statistica. Rispetto a set di dati simili come WSC, Winogrande offre una collezione di problemi più ampia e variata, riducendo la possibilità di sfruttare scorciatoie o bias nei dati per risolvere i problemi. Ogni domanda è formulata attorno a una frase o a un piccolo paragrafo che presenta una situazione ambigua o un enigma che richiede la comprensione del contesto e delle relazioni causali o logiche per essere risolto.

Alesaccoia il 16:16, 14 mar 2024

2024-03-14T16:16:47Z

← Versione meno recente		Versione delle 16:16, 14 mar 2024
Riga 62:		Riga 62:
	* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]		* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]

	[[Category:~~benchmarks~~]]		[[Category:benchmark]]

Michela il 10:29, 8 mar 2024

2024-03-08T10:29:00Z

← Versione meno recente		Versione delle 10:29, 8 mar 2024
Riga 61:		Riga 61:
	* [https://paperswithcode.com/dataset/winogrande WinoGrande]		* [https://paperswithcode.com/dataset/winogrande WinoGrande]
	* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]		* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]

			[[Category:benchmarks]]

Sara Maserati: /* Strategie per risposte mirate nei modelli di linguaggio */

2024-02-29T10:21:30Z

Strategie per risposte mirate nei modelli di linguaggio

← Versione meno recente		Versione delle 10:21, 29 feb 2024
Riga 48:		Riga 48:
	===Procedura di Valutazione su WinoGrande===		===Procedura di Valutazione su WinoGrande===
	La valutazione su WinoGrande segue una metodologia specifica per assicurare che il modello affronti correttamente il problema di ragionamento presentato. Ecco i passaggi chiave:		La valutazione su WinoGrande segue una metodologia specifica per assicurare che il modello affronti correttamente il problema di ragionamento presentato. Ecco i passaggi chiave:

	'''Prompting''': Il modello riceve un prompt che consiste in una narrazione breve con una domanda di ragionamento di senso comune. Il prompt può includere anche delle scelte multiple come possibili risposte.		'''Prompting''': Il modello riceve un prompt che consiste in una narrazione breve con una domanda di ragionamento di senso comune. Il prompt può includere anche delle scelte multiple come possibili risposte.

	'''Generazione della Risposta''': Il modello deve selezionare la risposta corretta tra le opzioni fornite. Questo richiede una comprensione approfondita del testo e la capacità di applicare il ragionamento di senso comune.		'''Generazione della Risposta''': Il modello deve selezionare la risposta corretta tra le opzioni fornite. Questo richiede una comprensione approfondita del testo e la capacità di applicare il ragionamento di senso comune.

	'''Parsing dell'Output''': Dato che l'output del modello può variare in formato, gli sviluppatori devono implementare metodi per interpretare e valutare correttamente la risposta generata, assicurandosi che corrisponda alla selezione corretta tra le opzioni fornite.		'''Parsing dell'Output''': Dato che l'output del modello può variare in formato, gli sviluppatori devono implementare metodi per interpretare e valutare correttamente la risposta generata, assicurandosi che corrisponda alla selezione corretta tra le opzioni fornite.

Stefano: /* Strategie per risposte mirate nei modelli di linguaggio */

2024-02-29T09:09:00Z

Strategie per risposte mirate nei modelli di linguaggio

← Versione meno recente		Versione delle 09:09, 29 feb 2024
Riga 51:		Riga 51:
	'''Generazione della Risposta''': Il modello deve selezionare la risposta corretta tra le opzioni fornite. Questo richiede una comprensione approfondita del testo e la capacità di applicare il ragionamento di senso comune.		'''Generazione della Risposta''': Il modello deve selezionare la risposta corretta tra le opzioni fornite. Questo richiede una comprensione approfondita del testo e la capacità di applicare il ragionamento di senso comune.
	'''Parsing dell'Output''': Dato che l'output del modello può variare in formato, gli sviluppatori devono implementare metodi per interpretare e valutare correttamente la risposta generata, assicurandosi che corrisponda alla selezione corretta tra le opzioni fornite.		'''Parsing dell'Output''': Dato che l'output del modello può variare in formato, gli sviluppatori devono implementare metodi per interpretare e valutare correttamente la risposta generata, assicurandosi che corrisponda alla selezione corretta tra le opzioni fornite.

			===Generazione di una Specifica Label===
			Per indurre il modello a generare una specifica label senza reintrodurre il contesto in ogni risposta, gli sviluppatori possono utilizzare tecniche di addestramento specifiche. Questo può includere l'addestramento del modello con esempi in cui la risposta è limitata a una scelta tra opzioni multiple, rinforzando la capacità del modello di focalizzarsi sulla selezione della risposta corretta basata sul ragionamento di senso comune.

	== Link ==		== Link ==
	* [https://paperswithcode.com/dataset/winogrande WinoGrande]		* [https://paperswithcode.com/dataset/winogrande WinoGrande]
	* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]		* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]

Stefano il 09:07, 29 feb 2024

2024-02-29T09:07:52Z

← Versione meno recente		Versione delle 09:07, 29 feb 2024
Riga 44:		Riga 44:

	"2"		"2"

			==Strategie per risposte mirate nei modelli di linguaggio==
			===Procedura di Valutazione su WinoGrande===
			La valutazione su WinoGrande segue una metodologia specifica per assicurare che il modello affronti correttamente il problema di ragionamento presentato. Ecco i passaggi chiave:
			'''Prompting''': Il modello riceve un prompt che consiste in una narrazione breve con una domanda di ragionamento di senso comune. Il prompt può includere anche delle scelte multiple come possibili risposte.
			'''Generazione della Risposta''': Il modello deve selezionare la risposta corretta tra le opzioni fornite. Questo richiede una comprensione approfondita del testo e la capacità di applicare il ragionamento di senso comune.
			'''Parsing dell'Output''': Dato che l'output del modello può variare in formato, gli sviluppatori devono implementare metodi per interpretare e valutare correttamente la risposta generata, assicurandosi che corrisponda alla selezione corretta tra le opzioni fornite.

	== Link ==		== Link ==
	* [https://paperswithcode.com/dataset/winogrande WinoGrande]		* [https://paperswithcode.com/dataset/winogrande WinoGrande]
	* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]		* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]

Stefano: Creata pagina con "== Intro == Winogrande mira a valutare la capacità dei modelli di IA di applicare il senso comune per risolvere enigmi e compiti di comprensione del testo che richiedono più di una semplice analisi linguistica o statistica. Rispetto a set di dati simili come WSC, Winogrande offre una collezione di problemi più ampia e variata, riducendo la possibilità di sfruttare scorciatoie o bias nei dati per risolvere i problemi. Ogni domanda è formulata attorno a una frase o a..."

2024-02-28T15:30:23Z

Creata pagina con "== Intro == Winogrande mira a valutare la capacità dei modelli di IA di applicare il senso comune per risolvere enigmi e compiti di comprensione del testo che richiedono più di una semplice analisi linguistica o statistica. Rispetto a set di dati simili come WSC, Winogrande offre una collezione di problemi più ampia e variata, riducendo la possibilità di sfruttare scorciatoie o bias nei dati per risolvere i problemi. Ogni domanda è formulata attorno a una frase o a..."

Nuova pagina

== Intro ==
Winogrande mira a valutare la capacità dei modelli di IA di applicare il senso comune per risolvere enigmi e compiti di comprensione del testo che richiedono più di una semplice analisi linguistica o statistica. Rispetto a set di dati simili come WSC, Winogrande offre una collezione di problemi più ampia e variata, riducendo la possibilità di sfruttare scorciatoie o bias nei dati per risolvere i problemi. Ogni domanda è formulata attorno a una frase o a un piccolo paragrafo che presenta una situazione ambigua o un enigma che richiede la comprensione del contesto e delle relazioni causali o logiche per essere risolto.

Uno degli aspetti innovativi di Winogrande è l'uso dell'[[Adversarial Filtering (AF)]] nella generazione del dataset. Questo processo seleziona le domande più difficili eliminando quelle che i modelli di IA possono risolvere facilmente attraverso scorciatoie o bias presenti nei dati. L'AF assicura che solo gli esempi più sfidanti, che richiedono un vero ragionamento di senso comune, siano inclusi nel benchmark.

== Esempi ==

* '''Esempio 1'''

'''Frase:'''

"John ha spostato il divano dal garage al giardino per creare spazio. Il _ è piccolo".

'''Opzione 1:'''

"garage"

'''Opzione 2:'''

"giardino"

'''Risposta:'''

"1"

* '''Esempio 2'''

'''Frase:'''

"Il dottore ha diagnosticato a Justin il disturbo bipolare e a Robert l'ansia. _ aveva i nervi a pezzi".

'''Opzione 1:'''

"Justin"

'''Opzione 2:'''

"Robert"

'''Risposta:'''

"2"

== Link ==
* [https://paperswithcode.com/dataset/winogrande WinoGrande]
* [https://huggingface.co/datasets/winogrande/viewer/winogrande_debiased/train?row=0 Dataset Winogrande]