Transformer (Architettura di Deep Learning) - Cronologia

Alesaccoia il 21:36, 27 nov 2024

2024-11-27T21:36:32Z

← Versione meno recente		Versione delle 21:36, 27 nov 2024
Riga 10:		Riga 10:
	* Vengono chiamati "Transformer Encoder" i modelli bidirezionali (Encoder-Only) come [[BERT]], che utilizzando come obiettivo di pre-training il [[Masked-Language-Modeling (MLM)]], necessitano che la rappresentazione fonda sia il contesto a destra che quello a sinistra del token che dev'essere predetto, quindi utilizzano una self-attention bidirezionale		* Vengono chiamati "Transformer Encoder" i modelli bidirezionali (Encoder-Only) come [[BERT]], che utilizzando come obiettivo di pre-training il [[Masked-Language-Modeling (MLM)]], necessitano che la rappresentazione fonda sia il contesto a destra che quello a sinistra del token che dev'essere predetto, quindi utilizzano una self-attention bidirezionale
	* Vengono chiamati "Transformer Decoder" i modelli che usano un' [[Attention Is All You Need (2017)\|attention]] "left-to-right" che quindi per la <u>generazione</u> del token successivo hanno a disposizione solo i token passati		* Vengono chiamati "Transformer Decoder" i modelli che usano un' [[Attention Is All You Need (2017)\|attention]] "left-to-right" che quindi per la <u>generazione</u> del token successivo hanno a disposizione solo i token passati
			[[File:Transformers Family Tree.jpg\|miniatura\|445x445px\|Transformers Family Tree]]

	=== Links ===		=== Links ===

Alesaccoia il 07:47, 8 set 2024

2024-09-08T07:47:03Z

← Versione meno recente		Versione delle 07:47, 8 set 2024
Riga 18:		Riga 18:
	[https://github.com/lutzroeder/gpt2/blob/main/gpt2.py Un'implementazione di GPT2 in 175 linee di codice python]		[https://github.com/lutzroeder/gpt2/blob/main/gpt2.py Un'implementazione di GPT2 in 175 linee di codice python]

			https://towardsdatascience.com/transformers-141e32e69591[https://www.youtube.com/watch?v=wjZofJX0v4M 3B1B - But what is a GPT? Visual intro to transformers]
	[https://www.youtube.com/watch?v=wjZofJX0v4M 3B1B - But what is a GPT? Visual intro to transformers]

	[https://arxiv.org/pdf/2304.10557.pdf An Introduction to Transformers (Turner)]		[https://arxiv.org/pdf/2304.10557.pdf An Introduction to Transformers (Turner)]

Mindmakerbot il 13:47, 17 ago 2024

2024-08-17T13:47:21Z

← Versione meno recente		Versione delle 13:47, 17 ago 2024
Riga 37:		Riga 37:
	\|title=Transformer		\|title=Transformer
	\|title_mode=append		\|title_mode=append
	\|keywords="reti neurali", "modelli linguistici", "elaborazione del linguaggio naturale", "NLP", "intelligenza artificiale", "apprendimento automatico", "architettura transformer", "encoder", "decoder", "self-attention", "BERT", "GPT"		\|keywords=reti neurali, "modelli linguistici", "elaborazione del linguaggio naturale", "NLP", "intelligenza artificiale", "apprendimento automatico", "architettura transformer", "encoder", "decoder", "self-attention", "BERT", "GPT"
	\|description="Questa pagina descrive l'architettura Transformer, un modello di rete neurale utilizzato nell'elaborazione del linguaggio naturale (NLP). Introdotta nel 2017, l'architettura Transformer si basa su un meccanismo di self-attention per elaborare le relazioni tra le parole in una frase. La pagina esplora le varianti Encoder e Decoder dell'architettura, con esempi come BERT e GPT, e fornisce link a risorse utili per approfondire l'argomento."		\|description=Questa pagina descrive l'architettura Transformer, un modello di rete neurale utilizzato nell'elaborazione del linguaggio naturale (NLP). Introdotta nel 2017, l'architettura Transformer si basa su un meccanismo di self-attention per elaborare le relazioni tra le parole in una frase. La pagina esplora le varianti Encoder e Decoder dell'architettura, con esempi come BERT e GPT, e fornisce link a risorse utili per approfondire l'argomento.
	\|image=Uploaded_file.png		\|image=Uploaded_file.png
	}}		}}

Mindmakerbot il 13:34, 17 ago 2024

2024-08-17T13:34:55Z

← Versione meno recente		Versione delle 13:34, 17 ago 2024
Riga 33:		Riga 33:

	[[Category:Architettura]]		[[Category:Architettura]]

			{{#seo:
			\|title=Transformer
			\|title_mode=append
			\|keywords="reti neurali", "modelli linguistici", "elaborazione del linguaggio naturale", "NLP", "intelligenza artificiale", "apprendimento automatico", "architettura transformer", "encoder", "decoder", "self-attention", "BERT", "GPT"
			\|description="Questa pagina descrive l'architettura Transformer, un modello di rete neurale utilizzato nell'elaborazione del linguaggio naturale (NLP). Introdotta nel 2017, l'architettura Transformer si basa su un meccanismo di self-attention per elaborare le relazioni tra le parole in una frase. La pagina esplora le varianti Encoder e Decoder dell'architettura, con esempi come BERT e GPT, e fornisce link a risorse utili per approfondire l'argomento."
			\|image=Uploaded_file.png
			}}

Alesaccoia il 15:21, 27 mag 2024

2024-05-27T15:21:57Z

← Versione meno recente		Versione delle 15:21, 27 mag 2024
Riga 1:		Riga 1:
	~~Nome: [[Nome::Transformer]]~~		{{template architettura
			\|NomeInglese=Transformer
	~~Nome Inglese: [[~~NomeInglese::Transformer]]		\|AnnoDiCreazione=2017
			\|Pubblicazione=Attention Is All You Need (2017)
	~~Anno Di Creazione: [[~~AnnoDiCreazione::2017]]		\|URLHomePage=https://arxiv.org/pdf/1706.03762
			\|Topic=Generazione, Reti neurali, Traduzione, Elaborazione del Linguaggio Naturale (NLP), Immagini
	Pubblicazione~~: [[Pubblicazione::~~Attention Is All You Need (2017)]]		}}


	Architettura proposta originariamente sul paper [[Attention Is All You Need (2017)]], composta da un Encoder e un Decoder.		Architettura proposta originariamente sul paper [[Attention Is All You Need (2017)]], composta da un Encoder e un Decoder.

Riga 35:		Riga 33:

	[[Category:Architettura]]		[[Category:Architettura]]

	~~__SHOWFACTBOX__~~

Alesaccoia il 12:21, 27 mag 2024

2024-05-27T12:21:43Z

@@ Riga 19: / Riga 19: @@
 [https://github.com/lutzroeder/gpt2/blob/main/gpt2.py Un'implementazione di GPT2 in 175 linee di codice python]
 [[Category:Architettura]]
 __SHOWFACTBOX__

Alesaccoia il 09:13, 14 apr 2024

2024-04-14T09:13:00Z

← Versione meno recente		Versione delle 09:13, 14 apr 2024
Riga 1:		Riga 1:
	Nome: [[Nome::Transformer ~~(Architettura di Deep Learning)~~]]		Nome: [[Nome::Transformer]]

	Nome Inglese: [[NomeInglese::Transformer]]		Nome Inglese: [[NomeInglese::Transformer]]

Alesaccoia il 09:12, 14 apr 2024

2024-04-14T09:12:30Z

← Versione meno recente		Versione delle 09:12, 14 apr 2024
Riga 1:		Riga 1:
	Nome: [[Nome::Transformer (Architettura di Deep Learning)]]		Nome: [[Nome::Transformer (Architettura di Deep Learning)]]

	Nome Inglese: [[NomeInglese::Transformer ~~(Deep Learning Architecture)~~]]		Nome Inglese: [[NomeInglese::Transformer]]

	Anno Di Creazione: [[AnnoDiCreazione::2017]]		Anno Di Creazione: [[AnnoDiCreazione::2017]]

Sara Maserati il 10:03, 10 apr 2024

2024-04-10T10:03:22Z

← Versione meno recente		Versione delle 10:03, 10 apr 2024
Riga 7:		Riga 7:
	Pubblicazione: [[Pubblicazione::Attention Is All You Need (2017)]]		Pubblicazione: [[Pubblicazione::Attention Is All You Need (2017)]]

	~~Topic: [[Topic::Capacità di modellare relazioni a lungo termine in sequenze di dati attraverso l'uso di meccanismi di attenzione]]~~


	Architettura proposta originariamente sul paper [[Attention Is All You Need (2017)]], composta da un Encoder e un Decoder.		Architettura proposta originariamente sul paper [[Attention Is All You Need (2017)]], composta da un Encoder e un Decoder.

Sara Maserati il 15:02, 9 apr 2024

2024-04-09T15:02:00Z

← Versione meno recente		Versione delle 15:02, 9 apr 2024
Riga 5:		Riga 5:
	Anno Di Creazione: [[AnnoDiCreazione::2017]]		Anno Di Creazione: [[AnnoDiCreazione::2017]]

	Pubblicazione: [[Pubblicazione::Attention Is All You Need]]		Pubblicazione: [[Pubblicazione::Attention Is All You Need (2017)]]

	Topic: [[Topic::Capacità di modellare relazioni a lungo termine in sequenze di dati attraverso l'uso di meccanismi di attenzione]]		Topic: [[Topic::Capacità di modellare relazioni a lungo termine in sequenze di dati attraverso l'uso di meccanismi di attenzione]]