RoBERTa: A Robustly Optimized BERT Pretraining Approach: differenze tra le versioni
(Creata pagina con "Categoria:Pubblicazione") |
Nessun oggetto della modifica |
||
| Riga 1: | Riga 1: | ||
[[ | {{template pubblicazione | ||
|data=2019 | |||
|autori=Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, Veselin Stoyanov | |||
|URL=https://www.semanticscholar.org/paper/077f8329a7b6fa3b7c877a57b81eb6c18b5f87de | |||
|topic=Modelli Linguistici, BERT | |||
|citazioni=20714 | |||
}} | |||
Questo articolo presenta RoBERTa (A Robustly Optimized BERT Pretraining Approach), un approccio di pretraining per modelli linguistici basato su BERT. Gli autori dimostrano che BERT era stato significativamente sotto-addestrato nelle sue iterazioni precedenti e che, con una corretta ottimizzazione, può eguagliare o superare le prestazioni di tutti i modelli pubblicati successivamente. RoBERTa raggiunge risultati all'avanguardia su benchmark come GLUE, RACE e SQuAD, evidenziando l'importanza di scelte di progettazione precedentemente trascurate nell'addestramento di BERT. | |||
[[Category:pubblicazione]] | |||
{{#seo: | |||
|title=RoBERTa: A Robustly Optimized BERT Pretraining Approach | |||
|title_mode=append | |||
|keywords=BERT, modelli linguistici, addestramento, ottimizzazione, prestazioni, benchmark, GLUE, RACE, SQuAD | |||
|description=Questa pubblicazione presenta RoBERTa, un approccio ottimizzato per il pretraining di BERT. Gli autori dimostrano che BERT può raggiungere prestazioni all'avanguardia su benchmark come GLUE, RACE e SQuAD con una corretta ottimizzazione. | |||
}} | |||
Versione delle 13:27, 10 set 2024
| RoBERTa: A Robustly Optimized BERT Pretraining Approach | |
|---|---|
| Data | 2019 |
| Autori | Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, M. Lewis, Luke Zettlemoyer, Veselin Stoyanov |
| URL | https://www.semanticscholar.org/paper/077f8329a7b6fa3b7c877a57b81eb6c18b5f87de |
| Topic | Modelli Linguistici, BERT |
| Citazioni | 20714 |
Questo articolo presenta RoBERTa (A Robustly Optimized BERT Pretraining Approach), un approccio di pretraining per modelli linguistici basato su BERT. Gli autori dimostrano che BERT era stato significativamente sotto-addestrato nelle sue iterazioni precedenti e che, con una corretta ottimizzazione, può eguagliare o superare le prestazioni di tutti i modelli pubblicati successivamente. RoBERTa raggiunge risultati all'avanguardia su benchmark come GLUE, RACE e SQuAD, evidenziando l'importanza di scelte di progettazione precedentemente trascurate nell'addestramento di BERT.