Alpaca: differenze tra le versioni
(→Links) |
Nessun oggetto della modifica |
||
| Riga 1: | Riga 1: | ||
Nome: [[Nome::Alpaca]] | |||
Anno di creazione: [[AnnoDiCreazione::2023]] | |||
Versione corrente: [[VersioneCorrente::Alpaca 7B]] | |||
Anno di creazione versione corrente: [[AnnoDiCreazioneVersioneCorrente::2023]] | |||
URLHomePage: [[URLHomePage::https://www.alpacaml.com/]] | |||
Pubblicazione: [[Pubblicazione:: | |||
Basato su: [[BasatoSu::LLaMA (Large Language Model Architecture) di Meta | |||
Topic: [[Topic::Generazione di testo]] | |||
Questo modello di Stanford si distingue per essere stato perfezionato a partire dal modello [[LLaMA]] 7B di Meta, attraverso l'addestramento su 52.000 [[Instruction-following Demonstrations]]. In una valutazione preliminare, Alpaca ha mostrato comportamenti qualitativamente simili a quelli di text-davinci-003 di OpenAI, nonostante le sue dimensioni sorprendentemente ridotte e la facilità nonché l'economicità di riproduzione (meno di 600 dollari). Alpaca, è arricchito con dati di istruzioni generate in stile self-instruct usando text-davinci-003, si presenta come un modello leggero, facilmente riproducibile e a costi contenuti, ideale per la ricerca accademica. | Questo modello di Stanford si distingue per essere stato perfezionato a partire dal modello [[LLaMA]] 7B di Meta, attraverso l'addestramento su 52.000 [[Instruction-following Demonstrations]]. In una valutazione preliminare, Alpaca ha mostrato comportamenti qualitativamente simili a quelli di text-davinci-003 di OpenAI, nonostante le sue dimensioni sorprendentemente ridotte e la facilità nonché l'economicità di riproduzione (meno di 600 dollari). Alpaca, è arricchito con dati di istruzioni generate in stile self-instruct usando text-davinci-003, si presenta come un modello leggero, facilmente riproducibile e a costi contenuti, ideale per la ricerca accademica. | ||
| Riga 11: | Riga 29: | ||
[[Category:modello]] | [[Category:modello]] | ||
[[Category:Modelli di Linguaggio]] | [[Category:Modelli di Linguaggio]] | ||
__SHOWFACTBOX__ | |||
Versione delle 07:51, 10 apr 2024
Nome: Alpaca
Anno di creazione: 2023
Versione corrente: Alpaca 7B
Anno di creazione versione corrente: 2023
URLHomePage: https://www.alpacaml.com/
Pubblicazione:
Basato su: [[BasatoSu::LLaMA (Large Language Model Architecture) di Meta
Topic: [[Topic::Generazione di testoProperty "Pubblicazione" (as page type) with input value "</br></br>Basato su: [[BasatoSu::LLaMA (Large Language Model Architecture) di Meta</br></br>Topic: [[Topic::Generazione di testo" contains invalid characters or is incomplete and therefore can cause unexpected results during a query or annotation process.
Questo modello di Stanford si distingue per essere stato perfezionato a partire dal modello LLaMA 7B di Meta, attraverso l'addestramento su 52.000 Instruction-following Demonstrations. In una valutazione preliminare, Alpaca ha mostrato comportamenti qualitativamente simili a quelli di text-davinci-003 di OpenAI, nonostante le sue dimensioni sorprendentemente ridotte e la facilità nonché l'economicità di riproduzione (meno di 600 dollari). Alpaca, è arricchito con dati di istruzioni generate in stile self-instruct usando text-davinci-003, si presenta come un modello leggero, facilmente riproducibile e a costi contenuti, ideale per la ricerca accademica.
Il processo di fine-tuning ha impiegato 3 ore su 8 A100 da 80GB, con un costo inferiore a 100 dollari sui principali provider di cloud.
Il team ha adottato misure di mitigazione dei rischi, come filtri di contenuto e watermarking dei risultati del modello, per promuovere l'uso responsabile di Alpaca. Essi enfatizzano che Alpaca è destinato esclusivamente alla ricerca accademica e che ogni uso commerciale è proibito, riflettendo le restrizioni delle licenze di LLaMA e le condizioni d'uso di text-davinci-003.
Links
[https://crfm.stanford.edu/2023/03/13/alpaca.html] [Modello su Huggingface]