Modello linguistico di grandi dimensioni: differenze tra le versioni

Versione attuale delle 11:09, 10 set 2024

Modello linguistico di grandi dimensioni
Nome Inglese	Large Language Model
Sigla	LLM

Classe di Modelli di Linguaggio emersi in seguito alla pubblicazione dell'architettura transformer nel 2017

@@ Riga 3: / Riga 3: @@
 |Sigla=LLM
 }}
-Classe di Modelli di Linguaggio emersi soprattutto in seguito alla pubblicazione dell'architettura [[transformer]] nel 2017, hanno operato una rivoluzione nel campo dell'NLP. In particolare:
+Classe di Modelli di Linguaggio emersi in seguito alla pubblicazione dell'architettura [[transformer]] nel 2017
-* NLP era soprattutto NLU (understanding), e poca generazione
+[[File:Overview Dei LLM.png|miniatura|773x773px|Da "A Comprehensive Overview of Large Language Models" (2024)]]
-* La multi-modalità era poco presente
-* La maggior parte dei modelli era basata su regole invece che su deep learning
-Sono un evoluzione di RNN -> LSTM -> GRU, delle loro varianti bidirezionali e "stacked", delle architetture encoder-decoder basate su LSTM, e infine dell'uso dell'attention con LSTM.
+=== Links ===
+[https://arxiv.org/html/2307.06435v9#:~:text=2.10%20Pre%2DTraining%20Objectives,-Report%20issue%20for&text=Full%20Language%20Modeling%3A%20An%20autoregressive,is%20shown%20in%20Figure%205. https://arxiv.org/html/2307.06435v9#:~:text=2.10%20Pre%2DTraining%20Objectives,-Report%20issue%20for&text=Full%20Language%20Modeling%3A%20An%20autoregressive,is%20shown%20in%20Figure%205.]
-=== Links ===
 [https://www.youtube.com/watch?v=dFwF0cwFd-E Overview of Large Language Models (YouTube - Manish Gupta)]