Fine-tuning

Fine-tuning
Nome Inglese	Fine-tuning
Sigla	SFT

Processo attraverso il quale un modello pre-addestrato viene adattato per eseguire specifici compiti o migliorare le prestazioni su particolari tipi di dati. Questo processo permette ai modelli di diventare più efficienti in compiti specifici, migliorando la loro precisione e la loro capacità di generalizzazione rispetto ai dati di interesse.

Per il fine-tuning, viene selezionato un set di dati specifico per il compito di interesse. Questo set di dati può essere piccolo rispetto al set utilizzato per il pre-addestramento, ma deve essere altamente rappresentativo del compito specifico da migliorare.

Durante il processo di fine-tuning, i pesi del modello pre-addestrato sono modificati per adattarsi meglio al compito specifico. Il tasso di apprendimento utilizzato in questa fase è generalmente più basso rispetto alla fase di pre-addestramento, per evitare di sovrascrivere le conoscenze generali acquisite precedentemente.

Il fine-tuning può essere eseguito utilizzando diverse tecniche, tra cui:

• Aggiustamento dei pesi: i pesi del modello sono direttamente modificati attraverso l'addestramento sul nuovo set di dati.
• Layer di adattamento: vengono aggiunti nuovi strati al modello pre-addestrato che vengono addestrati sul nuovo compito, mentre il resto del modello rimane congelato (frozen) o subisce un addestramento limitato.

Links

Fine tuning di Mistral 7B: https://www.moxoff.com/it/magazine/mistral-7b-e-larte-del-fine-tuning-per-adattare-il-modello-alla-lingua-italiana