Llama: differenze tra le versioni
(Creata pagina con "Modello Open Source rilasciato da Meta nel Febbraio 2023. La prima versione contava 7, 13, 33 e 65 B di parametri, === Links === * [https://arxiv.org/abs/2302.13971 LLama 1 (27 Feb 2023)] * [https://arxiv.org/abs/2302.13971 LLama 2]") |
Nessun oggetto della modifica |
||
| (19 versioni intermedie di 4 utenti non mostrate) | |||
| Riga 1: | Riga 1: | ||
{{Template modello | |||
La prima versione contava 7, 13, 33 e 65 B di parametri, | |NomeInglese=Large Language Model Meta AI | ||
|Sigla=LLaMA | |||
|AnnoDiCreazione=2021 | |||
|VersioneCorrente=3.0 | |||
|URL=https://llama.meta.com | |||
|Pubblicazione=LLaMA: Open and Efficient Foundation Language Models | |||
}} | |||
La prima versione contava 7, 13, 33 e 65 B di parametri. | |||
La seconda versione, rilasciata a giugno 2023, viene allenata su di un nuovo mix di dati pubblici, maggiore del 40% rispetto alla prima versione, la lunghezza del contesto viene raddoppiata, e viene adottato un nuovo modello di [[attention]], chiamato [[Attention|grouped-query attention]]. Vengono rilasciati modelli da 7,13 e 70B di parametri. Viene anche rilasciata Llama 2-Chat, una versione con [[fine-tuning]] ottimizzata per use case conversazionali. | |||
=== Ragione per lo sviluppo === | |||
"The capabilities of LLMs are remarkable considering the seemingly straightforward nature of the training methodology. Auto-regressive transformers are pretrained on an extensive corpus of self-supervised data, followed by alignment with human preferences via techniques such as Reinforcement Learning with Human Feedback (RLHF). Although the training methodology is simple, high computational requirements have limited the development of LLMs to a few players. There have been public releases of pretrained LLMs (such as BLOOM (Scao et al., 2022), LLaMa-1 (Touvron et al., 2023), and Falcon (Penedo et al., 2023)) that match the performance of closed pretrained competitors like GPT-3 (Brown et al., 2020) and Chinchilla (Hoffmann et al., 2022), but none of these models are suitable substitutes for closed “product” LLMs, such as ChatGPT, BARD, and Claude. These closed product LLMs are heavily fine-tuned to align with human preferences, which greatly enhances their usability and safety. This step can require significant costs in compute and human annotation, and is often not transparent or easily reproducible, limiting progress within the community to advance AI alignment research." da "Llama 2: Open Foundation and Fine-Tuned Chat Models" | |||
=== Links === | === Links === | ||
* [https://arxiv.org/abs/2302.13971 LLama 1 (27 Feb 2023)] | * [https://llama.meta.com Pagina ufficiale] | ||
* [https://arxiv.org/abs/2302.13971 LLama 2] | * [https://arxiv.org/abs/2302.13971 Paper LLama 1 (27 Feb 2023)] | ||
* [https://arxiv.org/abs/2302.13971 Paper LLama 2] | |||
=== Tutorial === | |||
* [https://www.deeplearning.ai/short-courses/prompt-engineering-with-llama-2/ Prompt Engineering With Llama 2] | |||
[[Category:modello]] | |||
{{#seo: | |||
|title=Your page title | |||
|title_mode=append | |||
|keywords=intelligenza artificiale, apprendimento automatico, modelli linguistici di grandi dimensioni, elaborazione del linguaggio naturale, LLaMA, Meta AI, chatbot, generazione di testo, traduzione automatica, analisi del sentiment | |||
|description=LLaMA è un modello linguistico di grandi dimensioni sviluppato da Meta AI. Questo articolo esplora le sue diverse versioni, l'architettura, il processo di addestramento e le applicazioni. Scopri le capacità di LLaMA nella generazione di testo, nella traduzione e nell'analisi del sentiment. | |||
|image= | |||
}} | |||
Versione attuale delle 16:26, 17 ago 2024
| Llama | |
|---|---|
| Nome Inglese | Large Language Model Meta AI |
| Sigla | LLaMA |
| Anno Di Creazione | 2021 |
| Versione Corrente | 3.0 |
| URL | https://llama.meta.com |
| Pubblicazione | LLaMA: Open and Efficient Foundation Language Models |
| URL Pubblicazione | |
La prima versione contava 7, 13, 33 e 65 B di parametri.
La seconda versione, rilasciata a giugno 2023, viene allenata su di un nuovo mix di dati pubblici, maggiore del 40% rispetto alla prima versione, la lunghezza del contesto viene raddoppiata, e viene adottato un nuovo modello di attention, chiamato grouped-query attention. Vengono rilasciati modelli da 7,13 e 70B di parametri. Viene anche rilasciata Llama 2-Chat, una versione con fine-tuning ottimizzata per use case conversazionali.
Ragione per lo sviluppo
"The capabilities of LLMs are remarkable considering the seemingly straightforward nature of the training methodology. Auto-regressive transformers are pretrained on an extensive corpus of self-supervised data, followed by alignment with human preferences via techniques such as Reinforcement Learning with Human Feedback (RLHF). Although the training methodology is simple, high computational requirements have limited the development of LLMs to a few players. There have been public releases of pretrained LLMs (such as BLOOM (Scao et al., 2022), LLaMa-1 (Touvron et al., 2023), and Falcon (Penedo et al., 2023)) that match the performance of closed pretrained competitors like GPT-3 (Brown et al., 2020) and Chinchilla (Hoffmann et al., 2022), but none of these models are suitable substitutes for closed “product” LLMs, such as ChatGPT, BARD, and Claude. These closed product LLMs are heavily fine-tuned to align with human preferences, which greatly enhances their usability and safety. This step can require significant costs in compute and human annotation, and is often not transparent or easily reproducible, limiting progress within the community to advance AI alignment research." da "Llama 2: Open Foundation and Fine-Tuned Chat Models"
Links
Tutorial