LLaMA: Open and Efficient Foundation Language Models

LLaMA: Open and Efficient Foundation Language Models
Data	2023
Autori	Hugo Touvron et al.
URL	https://www.semanticscholar.org/paper/57e849d0de13ed5f91d086936296721d4ff75a75
Topic	Linguaggio naturale
Citazioni	7339

LLaMA è una famiglia di modelli linguistici di base con un numero di parametri che varia da 7 miliardi a 65 miliardi. I modelli sono stati addestrati su un enorme set di dati di testo pubblico, dimostrando che è possibile ottenere prestazioni all'avanguardia senza ricorrere a set di dati proprietari. In particolare, LLaMA-13B supera le prestazioni di GPT-3 (175B) nella maggior parte dei benchmark, mentre LLaMA-65B è competitivo con i migliori modelli come Chinchilla-70B e PaLM-540B.