Metodi di Decoding: differenze tra le versioni

Versione attuale delle 13:47, 17 ago 2024

Metodi di Decoding
Nome Inglese	Decoding Methods
Sigla

Sono le possibili strategie di scelta della parola seguente nei modelli di linguaggio autoregressivi, ovvero quei modelli che generano il seguente token o parola successiva considerando la probabilità dell'intera sequenza come prodotto delle probabilità delle singole parole successive.

Vi sono tre tipi principali:

Greedy Search, che sceglie sempre la parola con la probabilità più alta
Beam search, che calcola il prodotto delle probabilità fino alla profondità K, e ritorna la prima parola della sequenza con probabilità più alta
Campionamento (decoding): introduce della variabilità, scegliendo in maniera casuale dalla distribuzione di probabilità delle seguenti N parole, data quella corrente - viene spesso utilizzando abbassando la temperatura del softmax per rendere più alta la probabilità delle parole più "probabili"
- Top-K Sampling, introdotta nel 2018, redistribuisce la probabilità lasciando solo le K parole più probabili
- Top-p (nucleus) sampling (2019) mantiene nel set di parole candidate solo quelle la cui probabilità cumulativa eccede una certa soglia, tipicamente 0.9

Links

Articolo su hugggingface con esempi di tutte le strategie

@@ Riga 1: / Riga 1: @@
+{{Template concetto
+|NomeInglese=Decoding Methods
+}}
+Sono le possibili strategie di scelta della parola seguente nei modelli di linguaggio [[autoregressivi]], ovvero quei modelli che generano il seguente [[token]] o parola successiva considerando la probabilità dell'intera sequenza come prodotto delle probabilità delle singole parole successive.
+Vi sono tre tipi principali:
+* [[Greedy Search]], che sceglie sempre la parola con la probabilità più alta
+* [[Beam search]], che calcola il prodotto delle probabilità fino alla profondità K, e ritorna la prima parola della sequenza con probabilità più alta
+* [[Campionamento (decoding)]]: introduce della variabilità, scegliendo in maniera casuale dalla distribuzione di probabilità delle seguenti N parole, data quella corrente - viene spesso utilizzando abbassando la [[Temperatura (Apprendimento Automatico)|temperatura]] del softmax per rendere più alta la probabilità delle parole più "probabili"
+** Top-K Sampling, introdotta nel 2018, redistribuisce la probabilità lasciando solo le K parole più probabili
+** Top-p (nucleus) sampling (2019) mantiene nel set di parole candidate solo quelle la cui probabilità cumulativa eccede una certa soglia, tipicamente 0.9
 == Links ==
-[https://huggingface.co/blog/how-to-generate https://huggingface.co/blog/how-to-generate]
+[https://huggingface.co/blog/how-to-generate Articolo su hugggingface con esempi di tutte le strategie]
+{{#seo:
+            |title=Decoding Methods
+            |title_mode=append
+            |keywords=modelli di linguaggio, autoregressivi, token, Greedy Search, Beam search, Campionamento, Temperatura (Apprendimento Automatico), softmax, Top-K Sampling, Top-p, nucleus sampling
+            |description=I metodi di decodifica sono strategie per scegliere la parola successiva nei modelli di linguaggio autoregressivi. Questi modelli generano testo considerando la probabilità dell'intera sequenza. Esistono tre tipi principali: Greedy Search, Beam Search e Campionamento, ognuno con i suoi vantaggi e svantaggi. Scopri di più su questi metodi e su come influenzano la generazione del testo.
+            }}