LLaMA: Open and Efficient Foundation Language Models
| LLaMA: Open and Efficient Foundation Language Models | |
|---|---|
| Data | 2023 |
| Autori | Hugo Touvron, Thibaut Lavril, Gautier Izacard, Xavier Martinet, Marie-Anne Lachaux, Timothée Lacroix, Baptiste Rozière, Naman Goyal, Eric Hambro, Faisal Azhar, Aurelien Rodriguez, Armand Joulin, Edouard Grave, Guillaume Lample |
| URL | https://www.semanticscholar.org/paper/57e849d0de13ed5f91d086936296721d4ff75a75 |
| Topic | Linguaggio naturale |
| Citazioni | 7677 |
LLaMA è una famiglia di modelli linguistici di base con un numero di parametri che varia da 7 miliardi a 65 miliardi. I modelli sono stati addestrati su un enorme set di dati di testo pubblico, dimostrando che è possibile ottenere prestazioni all'avanguardia senza ricorrere a set di dati proprietari. In particolare, LLaMA-13B supera le prestazioni di GPT-3 (175B) nella maggior parte dei benchmark, mentre LLaMA-65B è competitivo con i migliori modelli come Chinchilla-70B e PaLM-540B.