Modello linguistico di grandi dimensioni

Modello linguistico di grandi dimensioni
Nome Inglese	Large Language Model
Sigla	LLM

Classe di Modelli di Linguaggio emersi soprattutto in seguito alla pubblicazione dell'architettura transformer nel 2017, hanno operato una rivoluzione nel campo dell'NLP. In particolare:

• NLP era soprattutto NLU (understanding), e poca generazione
• La multi-modalità era poco presente
• La maggior parte dei modelli era basata su regole invece che su deep learning

Sono un evoluzione di RNN -> LSTM -> GRU, delle loro varianti bidirezionali e "stacked", delle architetture encoder-decoder basate su LSTM, e infine dell'uso dell'attention con LSTM.

Links

Overview of Large Language Models (YouTube - Manish Gupta)