Transformer (Architettura di Deep Learning): differenze tra le versioni

Versione delle 13:34, 17 ago 2024

Transformer (Architettura di Deep Learning)
Nome Inglese	Transformer
Sigla
Anno Di Creazione	2017
Pubblicazione	Attention Is All You Need (2017)
URL	https://arxiv.org/pdf/1706.03762
Topic	Generazione, Reti neurali, Traduzione, Elaborazione del Linguaggio Naturale (NLP), Immagini

Architettura proposta originariamente sul paper Attention Is All You Need (2017), composta da un Encoder e un Decoder.

Vengono chiamati "Transformer Encoder" i modelli bidirezionali (Encoder-Only) come BERT, che utilizzando come obiettivo di pre-training il Masked-Language-Modeling (MLM), necessitano che la rappresentazione fonda sia il contesto a destra che quello a sinistra del token che dev'essere predetto, quindi utilizzano una self-attention bidirezionale
Vengono chiamati "Transformer Decoder" i modelli che usano un' attention "left-to-right" che quindi per la generazione del token successivo hanno a disposizione solo i token passati

History of language models by Brit Cruise

@@ Riga 33: / Riga 33: @@
 [[Category:Architettura]]
+{{#seo:
+            |title=Transformer
+            |title_mode=append
+            |keywords="reti neurali", "modelli linguistici", "elaborazione del linguaggio naturale", "NLP", "intelligenza artificiale", "apprendimento automatico", "architettura transformer", "encoder", "decoder", "self-attention", "BERT", "GPT"
+            |description="Questa pagina descrive l'architettura Transformer, un modello di rete neurale utilizzato nell'elaborazione del linguaggio naturale (NLP). Introdotta nel 2017, l'architettura Transformer si basa su un meccanismo di self-attention per elaborare le relazioni tra le parole in una frase. La pagina esplora le varianti Encoder e Decoder dell'architettura, con esempi come BERT e GPT, e fornisce link a risorse utili per approfondire l'argomento."
+            |image=Uploaded_file.png
+            }}