Fine-tuning: differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| (2 versioni intermedie di 2 utenti non mostrate) | |||
| Riga 1: | Riga 1: | ||
{{Template concetto | {{Template concetto | ||
|NomeInglese=Fine-tuning | |NomeInglese=Fine-tuning | ||
|Sigla=SFT | |||
}} | }} | ||
Processo attraverso il quale un modello pre-addestrato viene adattato per eseguire specifici compiti o migliorare le prestazioni su particolari tipi di dati. Questo processo permette ai modelli di diventare più efficienti in compiti specifici, migliorando la loro precisione e la loro capacità di generalizzazione rispetto ai dati di interesse. | Processo '''supervisionato (Supervised Fine Tuning)''' attraverso il quale un modello pre-addestrato viene adattato per eseguire specifici compiti o migliorare le prestazioni su particolari tipi di dati. Questo processo permette ai modelli di diventare più efficienti in compiti specifici, migliorando la loro precisione e la loro capacità di generalizzazione rispetto ai dati di interesse. | ||
Per il fine-tuning, viene selezionato un set di dati specifico per il compito di interesse. Questo set di dati può essere piccolo rispetto al set utilizzato per il pre-addestramento, ma deve essere altamente rappresentativo del compito specifico da migliorare. | Per il fine-tuning, viene selezionato un set di dati specifico per il compito di interesse. Questo set di dati può essere piccolo rispetto al set utilizzato per il pre-addestramento, ma deve essere altamente rappresentativo del compito specifico da migliorare. | ||
| Riga 18: | Riga 19: | ||
|title=Fine-tuning | |title=Fine-tuning | ||
|title_mode=append | |title_mode=append | ||
|keywords= | |keywords=apprendimento automatico, modelli linguistici, intelligenza artificiale, addestramento, ottimizzazione, prestazioni, dati, precisione, generalizzazione, deep learning | ||
|description= | |description=Il fine-tuning è un processo che permette di adattare un modello di apprendimento automatico pre-addestrato a compiti specifici, migliorandone l'efficienza e la precisione. Questo processo prevede l'utilizzo di un set di dati specifico per il compito di interesse e la modifica dei pesi del modello per adattarlo al meglio al nuovo obiettivo. | ||
}} | }} | ||
Versione attuale delle 10:04, 7 feb 2025
| Fine-tuning | |
|---|---|
| Nome Inglese | Fine-tuning |
| Sigla | SFT |
Processo supervisionato (Supervised Fine Tuning) attraverso il quale un modello pre-addestrato viene adattato per eseguire specifici compiti o migliorare le prestazioni su particolari tipi di dati. Questo processo permette ai modelli di diventare più efficienti in compiti specifici, migliorando la loro precisione e la loro capacità di generalizzazione rispetto ai dati di interesse.
Per il fine-tuning, viene selezionato un set di dati specifico per il compito di interesse. Questo set di dati può essere piccolo rispetto al set utilizzato per il pre-addestramento, ma deve essere altamente rappresentativo del compito specifico da migliorare.
Durante il processo di fine-tuning, i pesi del modello pre-addestrato sono modificati per adattarsi meglio al compito specifico. Il tasso di apprendimento utilizzato in questa fase è generalmente più basso rispetto alla fase di pre-addestramento, per evitare di sovrascrivere le conoscenze generali acquisite precedentemente.
Il fine-tuning può essere eseguito utilizzando diverse tecniche, tra cui:
- Aggiustamento dei pesi: i pesi del modello sono direttamente modificati attraverso l'addestramento sul nuovo set di dati.
- Layer di adattamento: vengono aggiunti nuovi strati al modello pre-addestrato che vengono addestrati sul nuovo compito, mentre il resto del modello rimane congelato (frozen) o subisce un addestramento limitato.
Links
Fine tuning di Mistral 7B: https://www.moxoff.com/it/magazine/mistral-7b-e-larte-del-fine-tuning-per-adattare-il-modello-alla-lingua-italiana