Modello linguistico di grandi dimensioni

Classe di Modelli di Linguaggio emersi soprattutto in seguito alla pubblicazione dell'architettura transformer nel 2017, hanno operato una rivoluzione nel campo dell'NLP. In particolare:

• NLP era soprattutto NLU (understanding), e poca generazione
• La multi-modalità era poco presente
• La maggior parte dei modelli era basata su regole invece che su deep learning

Sono un evoluzione di RNN -> LSTM -> GRU, delle loro varianti bidirezionali e "stacked", delle architetture encoder-decoder basate su LSTM, e infine dell'uso dell'attention con LSTM.

Links

Overview of Large Language Models (YouTube - Manish Gupta)