Alpaca

Nome: Alpaca

Sigla: Alpaca

Anno di creazione: 2023

Versione corrente: Alpaca 7B

Anno di creazione versione corrente: 2023

URLHomePage: https://www.alpacaml.com/ HomePage

Pubblicazione: Alpaca: A Strong, Replicable Instruction-Following Model

Basato su: LLaMA - Large Language Model Architecture - di Meta

Questo modello di Stanford si distingue per essere stato perfezionato a partire dal modello LLaMA 7B di Meta, attraverso l'addestramento su 52.000 Instruction-following Demonstrations. In una valutazione preliminare, Alpaca ha mostrato comportamenti qualitativamente simili a quelli di text-davinci-003 di OpenAI, nonostante le sue dimensioni sorprendentemente ridotte e la facilità nonché l'economicità di riproduzione (meno di 600 dollari). Alpaca, è arricchito con dati di istruzioni generate in stile self-instruct usando text-davinci-003, si presenta come un modello leggero, facilmente riproducibile e a costi contenuti, ideale per la ricerca accademica.

Il processo di fine-tuning ha impiegato 3 ore su 8 A100 da 80GB, con un costo inferiore a 100 dollari sui principali provider di cloud.

Il team ha adottato misure di mitigazione dei rischi, come filtri di contenuto e watermarking dei risultati del modello, per promuovere l'uso responsabile di Alpaca. Essi enfatizzano che Alpaca è destinato esclusivamente alla ricerca accademica e che ogni uso commerciale è proibito, riflettendo le restrizioni delle licenze di LLaMA e le condizioni d'uso di text-davinci-003.

Links

[https://crfm.stanford.edu/2023/03/13/alpaca.html] [Modello su Huggingface]