Metodi di Decoding - Cronologia

Mindmakerbot il 13:47, 17 ago 2024

2024-08-17T13:47:00Z

← Versione meno recente		Versione delle 13:47, 17 ago 2024
Riga 18:		Riga 18:
	\|title=Decoding Methods		\|title=Decoding Methods
	\|title_mode=append		\|title_mode=append
	\|keywords="modelli di linguaggio, autoregressivi, token, Greedy Search, Beam search, Campionamento, Temperatura (Apprendimento Automatico), softmax, Top-K Sampling, Top-p, nucleus sampling"		\|keywords=modelli di linguaggio, autoregressivi, token, Greedy Search, Beam search, Campionamento, Temperatura (Apprendimento Automatico), softmax, Top-K Sampling, Top-p, nucleus sampling
	\|description="I metodi di decodifica sono strategie per scegliere la parola successiva nei modelli di linguaggio autoregressivi. Questi modelli generano testo considerando la probabilità dell'intera sequenza. Esistono tre tipi principali: Greedy Search, Beam Search e Campionamento, ognuno con i suoi vantaggi e svantaggi. Scopri di più su questi metodi e su come influenzano la generazione del testo."		\|description=I metodi di decodifica sono strategie per scegliere la parola successiva nei modelli di linguaggio autoregressivi. Questi modelli generano testo considerando la probabilità dell'intera sequenza. Esistono tre tipi principali: Greedy Search, Beam Search e Campionamento, ognuno con i suoi vantaggi e svantaggi. Scopri di più su questi metodi e su come influenzano la generazione del testo.
	}}		}}

Mindmakerbot il 13:30, 17 ago 2024

2024-08-17T13:30:08Z

← Versione meno recente		Versione delle 13:30, 17 ago 2024
Riga 14:		Riga 14:
	== Links ==		== Links ==
	[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]		[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]

			{{#seo:
			\|title=Decoding Methods
			\|title_mode=append
			\|keywords="modelli di linguaggio, autoregressivi, token, Greedy Search, Beam search, Campionamento, Temperatura (Apprendimento Automatico), softmax, Top-K Sampling, Top-p, nucleus sampling"
			\|description="I metodi di decodifica sono strategie per scegliere la parola successiva nei modelli di linguaggio autoregressivi. Questi modelli generano testo considerando la probabilità dell'intera sequenza. Esistono tre tipi principali: Greedy Search, Beam Search e Campionamento, ognuno con i suoi vantaggi e svantaggi. Scopri di più su questi metodi e su come influenzano la generazione del testo."
			}}

Mindmakerbot il 11:18, 17 ago 2024

2024-08-17T11:18:56Z

← Versione meno recente		Versione delle 11:18, 17 ago 2024
Riga 1:		Riga 1:
	~~Nome: [[Nome::Metodi di Decoding]]~~		{{Template concetto
			\|NomeInglese=Decoding Methods
	~~Nome inglese: [[~~NomeInglese::Decoding Methods]]		}}


	Sono le possibili strategie di scelta della parola seguente nei modelli di linguaggio [[autoregressivi]], ovvero quei modelli che generano il seguente [[token]] o parola successiva considerando la probabilità dell'intera sequenza come prodotto delle probabilità delle singole parole successive.		Sono le possibili strategie di scelta della parola seguente nei modelli di linguaggio [[autoregressivi]], ovvero quei modelli che generano il seguente [[token]] o parola successiva considerando la probabilità dell'intera sequenza come prodotto delle probabilità delle singole parole successive.

Riga 16:		Riga 14:
	== Links ==		== Links ==
	[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]		[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]

	~~[[Category:concetto]]~~

	~~__SHOWFACTBOX__~~

Sara Maserati il 10:50, 11 apr 2024

2024-04-11T10:50:59Z

← Versione meno recente		Versione delle 10:50, 11 apr 2024
Riga 1:		Riga 1:
			Nome: [[Nome::Metodi di Decoding]]

			Nome inglese: [[NomeInglese::Decoding Methods]]


	Sono le possibili strategie di scelta della parola seguente nei modelli di linguaggio [[autoregressivi]], ovvero quei modelli che generano il seguente [[token]] o parola successiva considerando la probabilità dell'intera sequenza come prodotto delle probabilità delle singole parole successive.		Sono le possibili strategie di scelta della parola seguente nei modelli di linguaggio [[autoregressivi]], ovvero quei modelli che generano il seguente [[token]] o parola successiva considerando la probabilità dell'intera sequenza come prodotto delle probabilità delle singole parole successive.

Riga 13:		Riga 18:

	[[Category:concetto]]		[[Category:concetto]]

			__SHOWFACTBOX__

Alesaccoia il 12:49, 18 mar 2024

2024-03-18T12:49:09Z

← Versione meno recente		Versione delle 12:49, 18 mar 2024
Riga 4:		Riga 4:
	* [[Greedy Search]], che sceglie sempre la parola con la probabilità più alta		* [[Greedy Search]], che sceglie sempre la parola con la probabilità più alta
	* [[Beam search]], che calcola il prodotto delle probabilità fino alla profondità K, e ritorna la prima parola della sequenza con probabilità più alta		* [[Beam search]], che calcola il prodotto delle probabilità fino alla profondità K, e ritorna la prima parola della sequenza con probabilità più alta
	* [[Campionamento (decoding)]]: introduce della variabilità, scegliendo in maniera casuale dalla distribuzione di probabilità delle seguenti N parole, data quella corrente - viene spesso utilizzando abbassando la [[temperatura]] del softmax per rendere più alta la probabilità delle parole più "probabili"		* [[Campionamento (decoding)]]: introduce della variabilità, scegliendo in maniera casuale dalla distribuzione di probabilità delle seguenti N parole, data quella corrente - viene spesso utilizzando abbassando la [[Temperatura (Apprendimento Automatico)\|temperatura]] del softmax per rendere più alta la probabilità delle parole più "probabili"
	** Top-K Sampling, introdotta nel 2018, redistribuisce la probabilità lasciando solo le K parole più probabili		** Top-K Sampling, introdotta nel 2018, redistribuisce la probabilità lasciando solo le K parole più probabili
	** Top-p (nucleus) sampling (2019) mantiene nel set di parole candidate solo quelle la cui probabilità cumulativa eccede una certa soglia, tipicamente 0.9		** Top-p (nucleus) sampling (2019) mantiene nel set di parole candidate solo quelle la cui probabilità cumulativa eccede una certa soglia, tipicamente 0.9

Michela: /* Links */

2024-03-14T16:32:36Z

Links

← Versione meno recente		Versione delle 16:32, 14 mar 2024
Riga 12:		Riga 12:
	[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]		[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]

	[[Category:~~concetti~~]]		[[Category:concetto]]

Michela il 10:22, 8 mar 2024

2024-03-08T10:22:59Z

← Versione meno recente		Versione delle 10:22, 8 mar 2024
Riga 11:		Riga 11:
	== Links ==		== Links ==
	[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]		[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]

			[[Category:concetti]]

Alesaccoia il 23:37, 27 feb 2024

2024-02-27T23:37:30Z

← Versione meno recente		Versione delle 23:37, 27 feb 2024
Riga 1:		Riga 1:
			Sono le possibili strategie di scelta della parola seguente nei modelli di linguaggio [[autoregressivi]], ovvero quei modelli che generano il seguente [[token]] o parola successiva considerando la probabilità dell'intera sequenza come prodotto delle probabilità delle singole parole successive.

			Vi sono tre tipi principali:
			* [[Greedy Search]], che sceglie sempre la parola con la probabilità più alta
			* [[Beam search]], che calcola il prodotto delle probabilità fino alla profondità K, e ritorna la prima parola della sequenza con probabilità più alta
			* [[Campionamento (decoding)]]: introduce della variabilità, scegliendo in maniera casuale dalla distribuzione di probabilità delle seguenti N parole, data quella corrente - viene spesso utilizzando abbassando la [[temperatura]] del softmax per rendere più alta la probabilità delle parole più "probabili"
			** Top-K Sampling, introdotta nel 2018, redistribuisce la probabilità lasciando solo le K parole più probabili
			** Top-p (nucleus) sampling (2019) mantiene nel set di parole candidate solo quelle la cui probabilità cumulativa eccede una certa soglia, tipicamente 0.9


	== Links ==		== Links ==
	[https://huggingface.co/blog/how-to-generate ~~https://huggingface.co/blog/how-to-generate~~]		[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]

Alesaccoia: Creata pagina con " == Links == [https://huggingface.co/blog/how-to-generate https://huggingface.co/blog/how-to-generate]"

2024-02-27T23:06:43Z

Creata pagina con " == Links == [https://huggingface.co/blog/how-to-generate https://huggingface.co/blog/how-to-generate]"

Nuova pagina

== Links ==
[https://huggingface.co/blog/how-to-generate https://huggingface.co/blog/how-to-generate]