Prefix-tuning: Optimizing continuous prompts for generation: differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| (Una versione intermedia di uno stesso utente non è mostrata) | |||
| Riga 7: | Riga 7: | ||
}} | }} | ||
Il Prefix-Tuning è un metodo alternativo al fine-tuning per adattare i grandi modelli linguistici pre-addestrati a compiti specifici. Invece di modificare tutti i parametri del modello, il Prefix-Tuning mantiene i parametri congelati e ottimizza una sequenza di vettori continui specifici del compito, chiamata "prefisso". | Il [[Prefix-Tuning]] è un metodo alternativo al [[fine-tuning]] per adattare i grandi modelli linguistici pre-addestrati a compiti specifici. Invece di modificare tutti i parametri del modello, il Prefix-Tuning mantiene i parametri congelati e ottimizza una sequenza di vettori continui specifici del compito, chiamata "prefisso". | ||
Questo approccio, simile al prompting, consente ai token successivi di considerare il prefisso come se fossero "token virtuali". Gli autori dimostrano l'efficacia del Prefix-Tuning su compiti come la generazione di testo da tabelle e la sintesi, ottenendo prestazioni comparabili al fine-tuning con molti meno parametri da addestrare. | Questo approccio, simile al prompting, consente ai token successivi di considerare il prefisso come se fossero "token virtuali". Gli autori dimostrano l'efficacia del Prefix-Tuning su compiti come la generazione di testo da tabelle e la sintesi, ottenendo prestazioni comparabili al fine-tuning con molti meno parametri da addestrare. | ||
=== Collegamenti === | |||
https://github.com/XiangLi1999/PrefixTuning | |||
Versione attuale delle 13:18, 19 ago 2024
| Prefix-tuning: Optimizing continuous prompts for generation | |
|---|---|
| Data | 2021 |
| Autori | Xiang Lisa Li, Percy Liang |
| URL | https://www.semanticscholar.org/paper/53d8b356551a2361020a948f64454a6d599af69f |
| Topic | Modelli di linguaggio, apprendimento automatico |
| Citazioni | 3057 |
Il Prefix-Tuning è un metodo alternativo al fine-tuning per adattare i grandi modelli linguistici pre-addestrati a compiti specifici. Invece di modificare tutti i parametri del modello, il Prefix-Tuning mantiene i parametri congelati e ottimizza una sequenza di vettori continui specifici del compito, chiamata "prefisso".
Questo approccio, simile al prompting, consente ai token successivi di considerare il prefisso come se fossero "token virtuali". Gli autori dimostrano l'efficacia del Prefix-Tuning su compiti come la generazione di testo da tabelle e la sintesi, ottenendo prestazioni comparabili al fine-tuning con molti meno parametri da addestrare.