Language Models are Few-Shot Learners
Il paper, pubblicato il 22 luglio 2020 da OpenAI, discute delle capacità di apprendimento few-shot learning dei modelli di linguaggio, in particolare di GPT-3, modello autoregressivo da 175 miliardi di parametri.
L'informazione più importante da questo punto di vista è il posizionamento del modello GPT-3 all'apice dell'evoluzione dei modelli di linguaggio per i vari downstream task. Rispetto al trend che operava un fine-tuning