HellaSwag - Cronologia

Mindmakerbot il 13:32, 17 ago 2024

2024-08-17T13:32:38Z

← Versione meno recente		Versione delle 13:32, 17 ago 2024
Riga 53:		Riga 53:
	*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]		*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]
	*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]		*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]

			{{#seo:
			\|title=HellaSwag
			\|title_mode=append
			\|keywords=HellaSwag, linguaggio, modello, intelligenza artificiale, apprendimento automatico, elaborazione del linguaggio naturale, PNL, generazione del testo, ragionamento, comprensione del contesto
			\|description=HellaSwag è un benchmark progettato per testare la capacità di un modello di intelligenza artificiale di prevedere la conclusione logica di una narrazione. Include due tipi di contesti: descrizioni video e situazioni simili a Wikipedia, con diverse scelte di continuazione tra cui il modello deve selezionare quella più logica.
			\|image=
			}}

Mindmakerbot il 11:43, 17 ago 2024

2024-08-17T11:43:50Z

← Versione meno recente		Versione delle 11:43, 17 ago 2024
Riga 7:		Riga 7:
	}}		}}

	~~== Intro ==~~
	Acronimo per '''"Harder Endings, Longer contexts, and Low-shot Activities for Situations With Adversarial Generations"'''.		Acronimo per '''"Harder Endings, Longer contexts, and Low-shot Activities for Situations With Adversarial Generations"'''.

Mindmakerbot il 11:38, 17 ago 2024

2024-08-17T11:38:51Z

← Versione meno recente		Versione delle 11:38, 17 ago 2024
Riga 1:		Riga 1:
	Nome~~: [[Nome::Harder Endings, Longer contexts, and Low-shot Activities for Situations With Adversarial Generations]]~~		{{Template benchmark
			\|Nome=HellaSwag
	Sigla~~: [[Sigla::~~HellaSwag]]		\|Sigla=HellaSwag
			\|Anno di creazione=2019
	Anno di creazione~~: [[AnnoDiCreazione::~~2019]]		\|URLHomePage=https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag
			\|Pubblicazione=HellaSwag: Can a Machine Really Finish Your Sentence?
	URLHomePage:[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]		}}

	Pubblicazione~~: [[Pubblicazione::~~HellaSwag: Can a Machine Really Finish Your Sentence?]]


	== Intro ==		== Intro ==
Riga 57:		Riga 54:
	*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]		*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]
	*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]		*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]

	~~[[Category:benchmark]]~~

	~~__SHOWFACTBOX__~~

Sara Maserati il 13:54, 11 apr 2024

2024-04-11T13:54:14Z

@@ Riga 1: / Riga 1: @@
 == Intro ==
 Acronimo per '''"Harder Endings, Longer contexts, and Low-shot Activities for Situations With Adversarial Generations"'''.
@@ Riga 48: / Riga 59: @@
 [[Category:benchmark]]

Michela: /* Link */

2024-03-15T10:33:28Z

Link

← Versione meno recente		Versione delle 10:33, 15 mar 2024
Riga 47:		Riga 47:
	*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]		*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]

	[[Category:~~benchmarks~~]]		[[Category:benchmark]]

Michela il 10:28, 8 mar 2024

2024-03-08T10:28:33Z

← Versione meno recente		Versione delle 10:28, 8 mar 2024
Riga 46:		Riga 46:
	*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]		*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]
	*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]		*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]

			[[Category:benchmarks]]

Sara Maserati: /* Esempi */

2024-03-05T10:14:11Z

Esempi

← Versione meno recente		Versione delle 10:14, 5 mar 2024
Riga 22:		Riga 22:

	0. contengono tuorli d'uovo e bicarbonato di sodio.		0. contengono tuorli d'uovo e bicarbonato di sodio.
	1. poi vengono ~~cosparsi~~ di zucchero di canna.		1. poi vengono cosparse di zucchero di canna.
	2. vengono ~~posti~~ in un colino sul bancone.		2. vengono poste in un colino sul bancone.
	3. vengono ~~riempiti~~ con dolci e ~~caricati~~ nel forno.		3. vengono riempite con dolci e caricate nel forno.

	* '''label''' (Indica la risposta corretta o l'etichetta che il modello dovrebbe prevedere):		* '''label''' (Indica la risposta corretta o l'etichetta che il modello dovrebbe prevedere):

Sara Maserati: /* Procedure di valutazione su HellaSwag */

2024-02-29T10:21:00Z

Procedure di valutazione su HellaSwag

← Versione meno recente		Versione delle 10:21, 29 feb 2024
Riga 35:		Riga 35:

	'''Prompting''': Il modello riceve un prompt che include il contesto e le opzioni di completamento. Il prompt è formulato in modo da indicare chiaramente al modello che il suo compito è selezionare il completamento più plausibile tra le opzioni fornite.		'''Prompting''': Il modello riceve un prompt che include il contesto e le opzioni di completamento. Il prompt è formulato in modo da indicare chiaramente al modello che il suo compito è selezionare il completamento più plausibile tra le opzioni fornite.

	'''Generazione della Risposta''': Diversamente da altri compiti in cui il modello genera liberamente del testo, in HellaSwag il modello deve selezionare tra le opzioni predefinite. Questo può essere realizzato in diversi modi, come ad esempio chiedendo al modello di generare un'etichetta o un indice che corrisponde alla sua scelta.		'''Generazione della Risposta''': Diversamente da altri compiti in cui il modello genera liberamente del testo, in HellaSwag il modello deve selezionare tra le opzioni predefinite. Questo può essere realizzato in diversi modi, come ad esempio chiedendo al modello di generare un'etichetta o un indice che corrisponde alla sua scelta.

	'''Parsing dell'Output''': Dato che l'output del modello potrebbe essere verboso o presentare informazioni non direttamente legate alla selezione della risposta, gli sviluppatori devono implementare un metodo per estrarre la risposta pertinente dall'output generale. Questo spesso comporta la mappatura dell'output del modello alle opzioni di scelta fornite nel prompt.		'''Parsing dell'Output''': Dato che l'output del modello potrebbe essere verboso o presentare informazioni non direttamente legate alla selezione della risposta, gli sviluppatori devono implementare un metodo per estrarre la risposta pertinente dall'output generale. Questo spesso comporta la mappatura dell'output del modello alle opzioni di scelta fornite nel prompt.

Stefano: /* Generazione di una Specifica Label senza Contesto Esplicito */

2024-02-29T09:00:01Z

Generazione di una Specifica Label senza Contesto Esplicito

← Versione meno recente		Versione delle 09:00, 29 feb 2024
Riga 39:		Riga 39:

	===Generazione di una Specifica Label senza Contesto Esplicito===		===Generazione di una Specifica Label senza Contesto Esplicito===
	Per far generare al modello solo una label specifica senza introdurre il contesto in ogni risposta, si possono adottare diverse tecniche, come l'addestramento o il fine-tuning del modello con un formato di risposta specifico. Questo può includere l'addestramento del modello per riconoscere che, in contesti come HellaSwag, è richiesto di limitare la sua risposta a una delle etichette predefinite, piuttosto che generare una risposta estesa o un testo libero.		Per far generare al modello solo una label specifica senza introdurre il contesto in ogni risposta, si possono adottare diverse tecniche, come l'addestramento o il [[fine-tuning]] del modello con un formato di risposta specifico. Questo può includere l'addestramento del modello per riconoscere che, in contesti come HellaSwag, è richiesto di limitare la sua risposta a una delle etichette predefinite, piuttosto che generare una risposta estesa o un testo libero.

	== Link ==		== Link ==
	*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]		*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]
	*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]		*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]

Stefano il 08:59, 29 feb 2024

2024-02-29T08:59:25Z

← Versione meno recente		Versione delle 08:59, 29 feb 2024
Riga 37:		Riga 37:
	'''Generazione della Risposta''': Diversamente da altri compiti in cui il modello genera liberamente del testo, in HellaSwag il modello deve selezionare tra le opzioni predefinite. Questo può essere realizzato in diversi modi, come ad esempio chiedendo al modello di generare un'etichetta o un indice che corrisponde alla sua scelta.		'''Generazione della Risposta''': Diversamente da altri compiti in cui il modello genera liberamente del testo, in HellaSwag il modello deve selezionare tra le opzioni predefinite. Questo può essere realizzato in diversi modi, come ad esempio chiedendo al modello di generare un'etichetta o un indice che corrisponde alla sua scelta.
	'''Parsing dell'Output''': Dato che l'output del modello potrebbe essere verboso o presentare informazioni non direttamente legate alla selezione della risposta, gli sviluppatori devono implementare un metodo per estrarre la risposta pertinente dall'output generale. Questo spesso comporta la mappatura dell'output del modello alle opzioni di scelta fornite nel prompt.		'''Parsing dell'Output''': Dato che l'output del modello potrebbe essere verboso o presentare informazioni non direttamente legate alla selezione della risposta, gli sviluppatori devono implementare un metodo per estrarre la risposta pertinente dall'output generale. Questo spesso comporta la mappatura dell'output del modello alle opzioni di scelta fornite nel prompt.

			===Generazione di una Specifica Label senza Contesto Esplicito===
			Per far generare al modello solo una label specifica senza introdurre il contesto in ogni risposta, si possono adottare diverse tecniche, come l'addestramento o il fine-tuning del modello con un formato di risposta specifico. Questo può includere l'addestramento del modello per riconoscere che, in contesti come HellaSwag, è richiesto di limitare la sua risposta a una delle etichette predefinite, piuttosto che generare una risposta estesa o un testo libero.

	== Link ==		== Link ==
	*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]		*[https://arxiv.org/abs/1905.07830 HellaSwag: Can a Machine Really Finish Your Sentence?]
	*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]		*[https://huggingface.co/datasets/Rowan/hellaswag/viewer/default/train?row=1 Dataset HellaSwag]