Modello linguistico di grandi dimensioni: differenze tra le versioni
(Creata pagina con "Classe di Modelli di Linguaggio emersi in seguito alla pubblicazione dell'architettura transformer nel 2017, hanno operato una rivoluzione nel campo dell'NLP. In particolare: * NLP era soprattutto NLU (understanding), e poca generazione * La multi-modalità era poco presente * La maggior parte dei modelli era basata su regole invece che su deep learning Sono un evoluzione di RNN -> LSTM -> GRU, delle loro varianti bidirezionali e "stacked", delle architetture encod...") |
Nessun oggetto della modifica |
||
| Riga 9: | Riga 9: | ||
=== Links === | === Links === | ||
[https://www.youtube.com/watch?v=dFwF0cwFd-E Overview of Large Language Models (YouTube - Manish Gupta)] | [https://www.youtube.com/watch?v=dFwF0cwFd-E Overview of Large Language Models (YouTube - Manish Gupta)] | ||
[[Category::Modello]] | |||
Versione delle 09:39, 18 mar 2024
Classe di Modelli di Linguaggio emersi in seguito alla pubblicazione dell'architettura transformer nel 2017, hanno operato una rivoluzione nel campo dell'NLP. In particolare:
- NLP era soprattutto NLU (understanding), e poca generazione
- La multi-modalità era poco presente
- La maggior parte dei modelli era basata su regole invece che su deep learning
Sono un evoluzione di RNN -> LSTM -> GRU, delle loro varianti bidirezionali e "stacked", delle architetture encoder-decoder basate su LSTM, e infine dell'uso dell'attention con LSTM.