How Many Data Points is a Prompt Worth?

Da Wiki AI.
How Many Data Points is a Prompt Worth?
Data 2023
Autori Teven Le Scao, Alexander M. Rush
URL https://www.semanticscholar.org/paper/a9fe5bd8da2d9603cf2cf6c6ea8b0f83c6d3a4f9
Topic Modelli Linguistici
Citazioni 271


Questo articolo esplora l'efficacia dei prompt nel fine-tuning di modelli pre-addestrati per compiti di classificazione, confrontandoli con l'approccio tradizionale basato su head generiche. I risultati dimostrano che l'utilizzo di prompt offre un vantaggio quantificabile, equivalente all'aggiunta di centinaia di dati di training, in particolare in scenari con pochi dati disponibili.