Fine-tuning: differenze tra le versioni

Versione attuale delle 10:04, 7 feb 2025

Fine-tuning
Nome Inglese	Fine-tuning
Sigla	SFT

Processo supervisionato (Supervised Fine Tuning) attraverso il quale un modello pre-addestrato viene adattato per eseguire specifici compiti o migliorare le prestazioni su particolari tipi di dati. Questo processo permette ai modelli di diventare più efficienti in compiti specifici, migliorando la loro precisione e la loro capacità di generalizzazione rispetto ai dati di interesse.

Per il fine-tuning, viene selezionato un set di dati specifico per il compito di interesse. Questo set di dati può essere piccolo rispetto al set utilizzato per il pre-addestramento, ma deve essere altamente rappresentativo del compito specifico da migliorare.

Durante il processo di fine-tuning, i pesi del modello pre-addestrato sono modificati per adattarsi meglio al compito specifico. Il tasso di apprendimento utilizzato in questa fase è generalmente più basso rispetto alla fase di pre-addestramento, per evitare di sovrascrivere le conoscenze generali acquisite precedentemente.

Il fine-tuning può essere eseguito utilizzando diverse tecniche, tra cui:

Aggiustamento dei pesi: i pesi del modello sono direttamente modificati attraverso l'addestramento sul nuovo set di dati.
Layer di adattamento: vengono aggiunti nuovi strati al modello pre-addestrato che vengono addestrati sul nuovo compito, mentre il resto del modello rimane congelato (frozen) o subisce un addestramento limitato.

Links

Fine tuning di Mistral 7B: https://www.moxoff.com/it/magazine/mistral-7b-e-larte-del-fine-tuning-per-adattare-il-modello-alla-lingua-italiana

@@ Riga 1: / Riga 1: @@
-Nome inglese: [[NomeInglese::Fine-tuning]]
+{{Template concetto
+|NomeInglese=Fine-tuning
-Processo attraverso il quale un modello pre-addestrato viene adattato per eseguire specifici compiti o migliorare le prestazioni su particolari tipi di dati. Questo processo permette ai modelli di diventare più efficienti in compiti specifici, migliorando la loro precisione e la loro capacità di generalizzazione rispetto ai dati di interesse.
+|Sigla=SFT
+}}
+Processo '''supervisionato (Supervised Fine Tuning)''' attraverso il quale un modello pre-addestrato viene adattato per eseguire specifici compiti o migliorare le prestazioni su particolari tipi di dati. Questo processo permette ai modelli di diventare più efficienti in compiti specifici, migliorando la loro precisione e la loro capacità di generalizzazione rispetto ai dati di interesse.
 Per il fine-tuning, viene selezionato un set di dati specifico per il compito di interesse. Questo set di dati può essere piccolo rispetto al set utilizzato per il pre-addestramento, ma deve essere altamente rappresentativo del compito specifico da migliorare.
@@ Riga 11: / Riga 13: @@
 * '''Layer di adattamento''': vengono aggiunti nuovi strati al modello pre-addestrato che vengono addestrati sul nuovo compito, mentre il resto del modello rimane congelato (frozen) o subisce un addestramento limitato.
-[[Category:concetto]]
+=== Links ===
+Fine tuning di [[Mistral]] 7B: https://www.moxoff.com/it/magazine/mistral-7b-e-larte-del-fine-tuning-per-adattare-il-modello-alla-lingua-italiana
-__SHOWFACTBOX__
+{{#seo:
+            |title=Fine-tuning
+            |title_mode=append
+            |keywords=apprendimento automatico, modelli linguistici, intelligenza artificiale, addestramento, ottimizzazione, prestazioni, dati, precisione, generalizzazione, deep learning
+            |description=Il fine-tuning è un processo che permette di adattare un modello di apprendimento automatico pre-addestrato a compiti specifici, migliorandone l'efficienza e la precisione. Questo processo prevede l'utilizzo di un set di dati specifico per il compito di interesse e la modifica dei pesi del modello per adattarlo al meglio al nuovo obiettivo.
+            }}