RoBERTa: A Robustly Optimized BERT Pretraining Approach: differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| (Una versione intermedia di uno stesso utente non è mostrata) | |||
| Riga 7: | Riga 7: | ||
}} | }} | ||
Questo articolo presenta RoBERTa (A Robustly Optimized BERT Pretraining Approach), un approccio di pretraining per modelli linguistici basato su BERT. Gli autori dimostrano che BERT era stato significativamente sotto-addestrato nelle sue iterazioni precedenti e che, con una corretta ottimizzazione, può eguagliare o superare le prestazioni di tutti i modelli pubblicati successivamente. RoBERTa raggiunge risultati all'avanguardia su benchmark come GLUE, RACE e SQuAD, evidenziando l'importanza di scelte di progettazione precedentemente trascurate nell'addestramento di BERT. | Questo articolo presenta RoBERTa (A Robustly Optimized BERT Pretraining Approach), un approccio di pretraining per modelli linguistici basato su BERT. Gli autori dimostrano che BERT era stato significativamente sotto-addestrato nelle sue iterazioni precedenti e che, con una corretta ottimizzazione, può eguagliare o superare le prestazioni di tutti i modelli pubblicati successivamente. RoBERTa raggiunge risultati all'avanguardia su benchmark come [[General Language Understanding Evaluation (GLUE)|GLUE]], [[RACE]] e [[SQuAD]], evidenziando l'importanza di scelte di progettazione precedentemente trascurate nell'addestramento di BERT. | ||
[[Category:pubblicazione]] | [[Category:pubblicazione]] | ||
Versione attuale delle 13:29, 10 set 2024
| RoBERTa: A Robustly Optimized BERT Pretraining Approach | |
|---|---|
| Data | 2019 |
| Autori | Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, Veselin Stoyanov |
| URL | https://www.semanticscholar.org/paper/077f8329a7b6fa3b7c877a57b81eb6c18b5f87de |
| Topic | Modelli Linguistici, BERT |
| Citazioni | 20714 |
Questo articolo presenta RoBERTa (A Robustly Optimized BERT Pretraining Approach), un approccio di pretraining per modelli linguistici basato su BERT. Gli autori dimostrano che BERT era stato significativamente sotto-addestrato nelle sue iterazioni precedenti e che, con una corretta ottimizzazione, può eguagliare o superare le prestazioni di tutti i modelli pubblicati successivamente. RoBERTa raggiunge risultati all'avanguardia su benchmark come GLUE, RACE e SQuAD, evidenziando l'importanza di scelte di progettazione precedentemente trascurate nell'addestramento di BERT.