Prefix-tuning: Optimizing continuous prompts for generation
| Prefix-tuning: Optimizing continuous prompts for generation | |
|---|---|
| Data | 2021 |
| Autori | Xiang Lisa Li, Percy Liang |
| URL | https://www.semanticscholar.org/paper/53d8b356551a2361020a948f64454a6d599af69f |
| Topic | Modelli di linguaggio, apprendimento automatico |
| Citazioni | 3057 |
Il Prefix-Tuning è un metodo alternativo al fine-tuning per adattare i grandi modelli linguistici pre-addestrati a compiti specifici. Invece di modificare tutti i parametri del modello, il Prefix-Tuning mantiene i parametri congelati e ottimizza una sequenza di vettori continui specifici del compito, chiamata "prefisso".
Questo approccio, simile al prompting, consente ai token successivi di considerare il prefisso come se fossero "token virtuali". Gli autori dimostrano l'efficacia del Prefix-Tuning su compiti come la generazione di testo da tabelle e la sintesi, ottenendo prestazioni comparabili al fine-tuning con molti meno parametri da addestrare.