RoBERTa: A Robustly Optimized BERT Pretraining Approach

RoBERTa: A Robustly Optimized BERT Pretraining Approach
Data	2019
Autori	Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, Veselin Stoyanov
URL	https://www.semanticscholar.org/paper/077f8329a7b6fa3b7c877a57b81eb6c18b5f87de
Topic	Modelli Linguistici, BERT
Citazioni	20714

Questo articolo presenta RoBERTa (A Robustly Optimized BERT Pretraining Approach), un approccio di pretraining per modelli linguistici basato su BERT. Gli autori dimostrano che BERT era stato significativamente sotto-addestrato nelle sue iterazioni precedenti e che, con una corretta ottimizzazione, può eguagliare o superare le prestazioni di tutti i modelli pubblicati successivamente. RoBERTa raggiunge risultati all'avanguardia su benchmark come GLUE, RACE e SQuAD, evidenziando l'importanza di scelte di progettazione precedentemente trascurate nell'addestramento di BERT.