BABILong - Cronologia

Mindmakerbot il 05:52, 15 apr 2025

2025-04-15T05:52:23Z

← Versione meno recente		Versione delle 05:52, 15 apr 2025
Riga 23:		Riga 23:

	{{#seo:		{{#seo:
	\|title=BABILong		\|title=BABILong
	\|title_mode=append		\|title_mode=append
	\|keywords=benchmark, intelligenza artificiale, AI, elaborazione del linguaggio naturale, NLP, modelli linguistici di grandi dimensioni, LLM, ago nel pagliaio, memoria ricorrente, estrazione di informazioni		\|keywords=benchmark, intelligenza artificiale, AI, elaborazione del linguaggio naturale, NLP, modelli linguistici di grandi dimensioni, LLM, ago nel pagliaio, memoria ricorrente, estrazione di informazioni
	\|description=BABILong è un benchmark per valutare la capacità dei modelli linguistici di estrarre informazioni da testi estesi. Simula la ricerca di un ago nel pagliaio", nascondendo frasi cruciali in mezzo a informazioni irrilevanti per testare la capacità di un modello di distinguere dati importanti da dettagli superflui."		\|description=BABILong è un benchmark per valutare la capacità dei modelli linguistici di estrarre informazioni da testi estesi. Simula la ricerca di un ago nel pagliaio", nascondendo frasi cruciali in mezzo a informazioni irrilevanti per testare la capacità di un modello di distinguere dati importanti da dettagli superflui."
	\|image=Screenshot 2024-03-20 alle 14.17.32.png		\|image=Screenshot 2024-03-20 alle 14.17.32.png
	}}		}}

Mindmakerbot il 13:47, 17 ago 2024

2024-08-17T13:47:08Z

← Versione meno recente		Versione delle 13:47, 17 ago 2024
Riga 25:		Riga 25:
	\|title=BABILong		\|title=BABILong
	\|title_mode=append		\|title_mode=append
	\|keywords="benchmark, intelligenza artificiale, AI, elaborazione del linguaggio naturale, NLP, modelli linguistici di grandi dimensioni, LLM, ago nel pagliaio, memoria ricorrente, estrazione di informazioni"		\|keywords=benchmark, intelligenza artificiale, AI, elaborazione del linguaggio naturale, NLP, modelli linguistici di grandi dimensioni, LLM, ago nel pagliaio, memoria ricorrente, estrazione di informazioni
	\|description="BABILong è un benchmark per valutare la capacità dei modelli linguistici di estrarre informazioni da testi estesi. Simula la ricerca di un "ago nel pagliaio", nascondendo frasi cruciali in mezzo a informazioni irrilevanti per testare la capacità di un modello di distinguere dati importanti da dettagli superflui."		\|description=BABILong è un benchmark per valutare la capacità dei modelli linguistici di estrarre informazioni da testi estesi. Simula la ricerca di un ago nel pagliaio", nascondendo frasi cruciali in mezzo a informazioni irrilevanti per testare la capacità di un modello di distinguere dati importanti da dettagli superflui."
	\|image=Screenshot 2024-03-20 alle 14.17.32.png		\|image=Screenshot 2024-03-20 alle 14.17.32.png
	}}		}}

Mindmakerbot il 13:32, 17 ago 2024

2024-08-17T13:32:06Z

← Versione meno recente		Versione delle 13:32, 17 ago 2024
Riga 21:		Riga 21:
	=== Github ===		=== Github ===
	[https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]		[https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]

			{{#seo:
			\|title=BABILong
			\|title_mode=append
			\|keywords="benchmark, intelligenza artificiale, AI, elaborazione del linguaggio naturale, NLP, modelli linguistici di grandi dimensioni, LLM, ago nel pagliaio, memoria ricorrente, estrazione di informazioni"
			\|description="BABILong è un benchmark per valutare la capacità dei modelli linguistici di estrarre informazioni da testi estesi. Simula la ricerca di un "ago nel pagliaio", nascondendo frasi cruciali in mezzo a informazioni irrilevanti per testare la capacità di un modello di distinguere dati importanti da dettagli superflui."
			\|image=Screenshot 2024-03-20 alle 14.17.32.png
			}}

Mindmakerbot il 11:37, 17 ago 2024

2024-08-17T11:37:24Z

← Versione meno recente		Versione delle 11:37, 17 ago 2024
Riga 1:		Riga 1:
	{{Template benchmark		{{Template benchmark
	\|Nome=BABILong		\|Nome=BABILong
			\|Sigla=
	\|Anno di creazione=2024		\|Anno di creazione=2024
	\|URLHomePage=https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs		\|URLHomePage=https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs

Mindmakerbot il 11:32, 17 ago 2024

2024-08-17T11:32:11Z

← Versione meno recente		Versione delle 11:32, 17 ago 2024
Riga 1:		Riga 1:
	Nome~~: [[Nome::~~BABILong]]		{{Template benchmark
			\|Nome=BABILong
	Anno di creazione~~: [[AnnoDiCreazione::~~2024]]		\|Anno di creazione=2024
			\|URLHomePage=https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs
	URLHomePage~~: [~~https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]		\|Pubblicazione=[https://arxiv.org/pdf/2402.10790.pdf In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]
			}}
	~~Pubblicazioni~~: [[In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]]


	~~Nome: Il nome ufficiale dell'architettura.~~
	~~Sigla: Un'abbreviazione o acronimo associato all'architettura.~~
	~~AnnoDiCreazione: L'anno in cui l'architettura è stata proposta o introdotta per la prima volta.~~
	~~URLHomePage: http://esempioarchitettura.com Un collegamento all'homepage dell'architettura.~~
	~~Pubblicazione: Pubblicazione/i~~


	'''BABILong''' è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.		'''BABILong''' è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.

Riga 30:		Riga 20:
	=== Github ===		=== Github ===
	[https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]		[https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]

	~~[[Category:benchmark]]~~

	~~__SHOWFACTBOX__~~

Sara Maserati il 13:23, 11 apr 2024

2024-04-11T13:23:37Z

← Versione meno recente		Versione delle 13:23, 11 apr 2024
Riga 5:		Riga 5:
	URLHomePage: [https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]		URLHomePage: [https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]

	Pubblicazioni: [[~~https://arxiv.org/pdf/2402.10790.pdf~~ In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]]		Pubblicazioni: [[In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]]

Sara Maserati il 13:23, 11 apr 2024

2024-04-11T13:23:19Z

← Versione meno recente		Versione delle 13:23, 11 apr 2024
Riga 1:		Riga 1:
			Nome: [[Nome::BABILong]]

			Anno di creazione: [[AnnoDiCreazione::2024]]

			URLHomePage: [https://github.com/booydar/babilong?tab=readme-ov-file BABILong: a long-context needle-in-a-haystack benchmark for LLMs]

			Pubblicazioni: [[https://arxiv.org/pdf/2402.10790.pdf In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]]


			Nome: Il nome ufficiale dell'architettura.
			Sigla: Un'abbreviazione o acronimo associato all'architettura.
			AnnoDiCreazione: L'anno in cui l'architettura è stata proposta o introdotta per la prima volta.
			URLHomePage: http://esempioarchitettura.com Un collegamento all'homepage dell'architettura.
			Pubblicazione: Pubblicazione/i


	'''BABILong''' è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.		'''BABILong''' è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.

Riga 16:		Riga 32:

	[[Category:benchmark]]		[[Category:benchmark]]

			__SHOWFACTBOX__

Michela il 13:47, 20 mar 2024

2024-03-20T13:47:26Z

← Versione meno recente		Versione delle 13:47, 20 mar 2024
Riga 1:		Riga 1:
	BABILong è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.		'''BABILong''' è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.

			Risolvere compiti con una dimensione di contesto lunga richiede al modello di distinguere informazioni importanti da grandi quantità di dettagli irrilevanti. Per simulare questo comportamento, "nascondiamo" le frasi del compito originale tra le frasi di testo irrilevante che proviene da un'altra distribuzione strettamente correlata (vedi Figura 1).

			[[File:Screenshot 2024-03-20 alle 14.17.32.png\|centro\|miniatura\|'''Figura1:''' Esempio di generazione per il dataset BABILong. Le affermazioni rilevanti per la domanda da un campione di bAbILong sono nascoste all'interno di testi più ampi e irrilevanti provenienti da PG19.]]


			Questo approccio è basato sui primi test "'''ago nel pagliaio'''". Si tratta di un test che mira a testare la capacità di un sistema AI di '''identificare''', '''estrarre''', o '''riconoscere''' un'informazione molto specifica o un elemento (l'"ago") da un vasto insieme di dati o informazioni non pertinenti (il "pagliaio"). Questo concetto può essere applicato in vari ambiti, come il riconoscimento di pattern, la ricerca di informazioni, il processamento del linguaggio naturale, e altri campi dell'AI dove il sistema deve dimostrare di poter effettivamente "trovare l'ago nel pagliaio".

	== Link ==		== Link ==

Michela il 11:39, 20 mar 2024

2024-03-20T11:39:25Z

← Versione meno recente		Versione delle 11:39, 20 mar 2024
Riga 1:		Riga 1:
			BABILong è un benchmark progettato per valutare le capacità del modello nell'estrazione ed elaborazione di fatti distribuiti all'interno di testi estesi.

	== Link ==		== Link ==
	=== Paper ===		=== Paper ===

Michela il 11:04, 20 mar 2024

2024-03-20T11:04:59Z

← Versione meno recente		Versione delle 11:04, 20 mar 2024
Riga 1:		Riga 1:
	== Link ==		== Link ==
	=== Paper ===		=== Paper ===
	[https://arxiv.org/pdf/2402.10790.~~pdfIn~~ Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]: paper originale		[https://arxiv.org/pdf/2402.10790.pdf In Search of Needles in a 11M Haystack:Recurrent Memory Finds What LLMs Miss]: paper originale

	=== Github ===		=== Github ===