Visualizza wikitesto di InstructGPT: Training Language Models to Follow Instructions with Human Feedback

{{template pubblicazione
|data=2022
|autori=Long Ouyang, Jeff Wu, Xu Jiang, Diogo Almeida, Carroll L. Wainwright, Pamela Mishkin, Chong Zhang, Sandhini Agarwal, Katarina Slama, Alex Ray, John Schulman, Jacob Hilton, Fraser Kelton, Luke E. Miller, Maddie Simens, Amanda Askell, P. Welinder, P. Christiano, J. Leike, Ryan J. Lowe
|URL=https://www.semanticscholar.org/paper/d766bffc357127e0dc86dd69561d5aeb520d6f4c
|topic=Modelli Linguistici
|citazioni=7981
}}
Questo articolo esplora come migliorare l'allineamento dei modelli linguistici di grandi dimensioni con l'intento dell'utente, un problema critico dato che modelli più grandi non sono necessariamente migliori nel seguire le istruzioni. Gli autori dimostrano che la messa a punto con feedback umano, sia sotto forma di dimostrazioni di etichettatura che di classifiche di output del modello, può migliorare significativamente le prestazioni in una varietà di compiti. I modelli risultanti, chiamati InstructGPT, superano significativamente GPT-3 nelle valutazioni umane, mostrando una maggiore accuratezza, una minore tossicità e un migliore allineamento con l'intento dell'utente, pur avendo un numero di parametri significativamente inferiore. Questo lavoro evidenzia l'importanza del feedback umano nell'addestramento di modelli linguistici e apre la strada a modelli più utili, veritieri e sicuri.