Alpaca
Questo modello di Stanford si distingue per essere stato perfezionato a partire dal modello LLaMA 7B di Meta, attraverso l'addestramento su 52.000 Instruction-following Demonstrations. In una valutazione preliminare, Alpaca ha mostrato comportamenti qualitativamente simili a quelli di text-davinci-003 di OpenAI, nonostante le sue dimensioni sorprendentemente ridotte e la facilità nonché l'economicità di riproduzione (meno di 600 dollari). Alpaca, è arricchito con dati di istruzioni generate in stile self-instruct usando text-davinci-003, si presenta come un modello leggero, facilmente riproducibile e a costi contenuti, ideale per la ricerca accademica.
Il processo di fine-tuning ha impiegato 3 ore su 8 A100 da 80GB, con un costo inferiore a 100 dollari sui principali provider di cloud.
Rilascio e Implicazioni
Il rilascio di Alpaca mira a facilitare la ricerca accademica su modelli di seguito istruzioni, fornendo dati, codice per la generazione dei dati e codice di addestramento. Questo passo avanti permette alla comunità accademica di condurre studi controllati, con l'obiettivo di migliorare la scienza e sviluppare nuove tecniche per affrontare le carenze esistenti.
Il team ha adottato misure di mitigazione dei rischi, come filtri di contenuto e watermarking dei risultati del modello, per promuovere l'uso responsabile di Alpaca. Essi enfatizzano che Alpaca è destinato esclusivamente alla ricerca accademica e che ogni uso commerciale è proibito, riflettendo le restrizioni delle licenze di LLaMA e le condizioni d'uso di text-davinci-003.
Links
[https://crfm.stanford.edu/2023/03/13/alpaca.html] [Modello su Huggingface]