Modifica Modulo concetto: Temperatura (Apprendimento Automatico)

Testo libero:

La '''temperatura''' è un parametro nell'ambito dell'apprendimento automatico, specialmente nei modelli sequenziali come le [[Recurrent Neural Network (RNN)|RNN]] e i [[transformer]]. Questo parametro è un numero strettamente maggiore di zero e normalmente inferiore a 2 o 3, con impatti diretti sulla selezione del token successivo durante il processo di generazione del testo. == Funzionamento == La temperatura è utilizzata per modulare la distribuzione di probabilità dei token generati dai modelli. Invece di optare per una [[Metodi di Decoding|decodifica Greedy]], che seleziona sempre il token con la massima probabilità, l'introduzione della temperatura agisce sul risultato della [[Metodi di Decoding|decodifica a campionamento]]: questo approccio estrae un token casuale basandosi sulla distribuzione di probabilità (modificata dalla temperatura) dei possibili token successivi. Durante il processo di generazione, la temperatura agisce sui [[Logit (Reti Neurali)|logit]], i valori emessi dall'ultimo [[layer totalmente connesso]] del modello prima dell'applicazione della funzione [[Softmax]] per ottenere le probabilità. === Formula === La funzione '''softmax standard''' (senza temperatura) è definita come: <math>softmax(z_i) = \frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}}</math> Dove <math>z_i</math> è il logit del token ''i'' e ''K'' è il numero totale di token nel vocabolario. Con l'introduzione della '''temperatura T''', la formula diventa: <math>softmax(z_i, T) = \frac{e^{z_i/T}}{\sum_{j=1}^K e^{z_j/T}}</math> La modifica consiste nel '''dividere i logit per il valore della temperatura''' prima di calcolare la distribuzione di probabilità finale. == Effetti della Temperatura == * '''Temperatura alta (T > 1)''': Genera una distribuzione più uniforme, aumentando la varietà e la casualità nella scelta dei token. I token meno probabili hanno maggiori chance di essere selezionati. * '''Temperatura bassa (T < 1)''': Rende la distribuzione più "affilata", favorendo la scelta dei token con probabilità più alta e riducendo la varietà. Il modello tende a selezionare più spesso il token più probabile. * '''Temperatura = 1''': Mantiene la distribuzione originale calcolata dal modello. == Applicazioni Pratiche == L'uso della temperatura permette agli sviluppatori e ai ricercatori di bilanciare tra '''diversità''' e '''precisione''' nelle generazioni testuali dei modelli. Una temperatura vicina a 1 tende a mantenere un buon equilibrio, mentre valori superiori possono essere sperimentati per ottenere risultati più creativi, e valori inferiori per risultati più conservativi e prevedibili. {{#seo: |title=Temperatura |title_mode=append |keywords=temperatura, apprendimento automatico, modelli sequenziali, RNN, Recurrent Neural Network, transformer, generazione di testo, distribuzione di probabilità, decodifica Greedy, decodifica a campionamento, logit, layer totalmente connesso, softmax, sampling |description=Questo articolo esplora il concetto di 'temperatura' nell'ambito dell'apprendimento automatico, con particolare riferimento al suo utilizzo nei modelli sequenziali come le RNN e i transformer. Viene descritto come questo parametro influenzi la selezione dei token durante la generazione di testo, modulando la distribuzione di probabilità tramite la funzione softmax e offrendo un compromesso tra diversità e precisione nei risultati. }}