Attention Is All You Need (2017) - Cronologia

Mindmakerbot il 10:20, 17 ago 2024

2024-08-17T10:20:29Z

← Versione meno recente		Versione delle 10:20, 17 ago 2024
Riga 1:		Riga 1:
	~~Titolo: [[Titolo::Attention Is All You Need]]~~		{{template pubblicazione
			\|data=2017
	~~Anno di pubblicazione: [[AnnoDiPubblicazione::~~2017]]		\|autori=Ashish Vaswani, Noam M. Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
			\|URL=https://www.semanticscholar.org/paper/204e3073870fae3d05bcbc2f6a8e263d9b72e776
	~~Autori: [[Autori::~~Ashish Vaswani~~]]; [[Autori::~~Noam Shazeer~~]]; [[Autori::~~Niki Parmar~~]]; [[Autori::~~Jakob Uszkoreit~~]]; [[Autori::~~Llion Jones~~]]; [[Autori::~~Aidan N. Gomez~~]]; [[Autori::Łukasz~~ Kaiser~~]]; [[Autori::~~Illia Polosukhin~~]];~~		\|topic=Attention
			\|citazioni=100986
	URL~~: [[URL::~~https://~~arxiv~~.org/~~pdf~~/~~1706.03762.pdf]]~~		}}


	Famosissimo paper del 2017 di [[Vaswani]] et al. che parallelizza il meccanismo di [[Attention]], eliminando la necessità di utilizzo di reti neurali ricorsive nei task di traduzione e di generazione del testo: è il paper che implementa l'architettura [[Transformer (Architettura di Deep Learning)\|Transformer.]]		Famosissimo paper del 2017 di [[Vaswani]] et al. che parallelizza il meccanismo di [[Attention]], eliminando la necessità di utilizzo di reti neurali ricorsive nei task di traduzione e di generazione del testo: è il paper che implementa l'architettura [[Transformer (Architettura di Deep Learning)\|Transformer.]]

Riga 34:		Riga 32:

	[https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py Implementazione del Transformer in tensor2tensor]		[https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py Implementazione del Transformer in tensor2tensor]

	~~[[Category:Pubblicazione]]~~

	~~__SHOWFACTBOX__~~

Alesaccoia il 09:09, 24 apr 2024

2024-04-24T09:09:31Z

← Versione meno recente		Versione delle 09:09, 24 apr 2024
Riga 11:		Riga 11:

	=== Background ===		=== Background ===
			E' consigliabile leggere la pagina [[Attention (Machine Learning)]] per avere un background completo.

	Tradizionalmente, nei task di [[Automatic Translation\|automatic translation]], è stato utilizzato il modello [[Sequence to Sequence (seq2seq)\|Sequence To Sequence]], in cui la rappresentazione della frase		Tradizionalmente, nei task di [[Automatic Translation\|automatic translation]], è stato utilizzato il modello [[Sequence to Sequence (seq2seq)\|Sequence To Sequence]], in cui la rappresentazione della frase
	Il gatto mangia il topo		Il gatto mangia il topo

Alesaccoia il 10:11, 10 apr 2024

2024-04-10T10:11:26Z

← Versione meno recente		Versione delle 10:11, 10 apr 2024
Riga 6:		Riga 6:

	URL: [[URL::https://arxiv.org/pdf/1706.03762.pdf]]		URL: [[URL::https://arxiv.org/pdf/1706.03762.pdf]]

	~~Topic: [[Topic::L'architettura Transformer dimostra la sua efficacia in una serie di compiti di NLP, tra cui la traduzione automatica]]~~

Sara Maserati il 15:07, 9 apr 2024

2024-04-09T15:07:37Z

← Versione meno recente		Versione delle 15:07, 9 apr 2024
Riga 1:		Riga 1:
			Titolo: [[Titolo::Attention Is All You Need]]

			Anno di pubblicazione: [[AnnoDiPubblicazione::2017]]

			Autori: [[Autori::Ashish Vaswani]]; [[Autori::Noam Shazeer]]; [[Autori::Niki Parmar]]; [[Autori::Jakob Uszkoreit]]; [[Autori::Llion Jones]]; [[Autori::Aidan N. Gomez]]; [[Autori::Łukasz Kaiser]]; [[Autori::Illia Polosukhin]];

			URL: [[URL::https://arxiv.org/pdf/1706.03762.pdf]]

			Topic: [[Topic::L'architettura Transformer dimostra la sua efficacia in una serie di compiti di NLP, tra cui la traduzione automatica]]


	Famosissimo paper del 2017 di [[Vaswani]] et al. che parallelizza il meccanismo di [[Attention]], eliminando la necessità di utilizzo di reti neurali ricorsive nei task di traduzione e di generazione del testo: è il paper che implementa l'architettura [[Transformer (Architettura di Deep Learning)\|Transformer.]]		Famosissimo paper del 2017 di [[Vaswani]] et al. che parallelizza il meccanismo di [[Attention]], eliminando la necessità di utilizzo di reti neurali ricorsive nei task di traduzione e di generazione del testo: è il paper che implementa l'architettura [[Transformer (Architettura di Deep Learning)\|Transformer.]]

Riga 25:		Riga 36:

	[[Category:Pubblicazione]]		[[Category:Pubblicazione]]

			__SHOWFACTBOX__

Alesaccoia il 10:13, 4 apr 2024

2024-04-04T10:13:02Z

← Versione meno recente		Versione delle 10:13, 4 apr 2024
Riga 2:		Riga 2:

	=== Background ===		=== Background ===
	Tradizionalmente, nei task di [[Automatic Translation\|automatic translation]], è stato utilizzato il modello [[Sequence To Sequence (~~Seq2Seq~~)\|Sequence To Sequence]], in cui la rappresentazione della frase		Tradizionalmente, nei task di [[Automatic Translation\|automatic translation]], è stato utilizzato il modello [[Sequence to Sequence (seq2seq)\|Sequence To Sequence]], in cui la rappresentazione della frase
	Il gatto mangia il topo		Il gatto mangia il topo
	viene codificata in una rappresentazione vettoriale - un embedding - attraverso [[Long Short-Term Memory (LSTM)]] , prendendo il valore del layer nascosto al termine della codifica della frase.		viene codificata in una rappresentazione vettoriale - un embedding - attraverso [[Long Short-Term Memory (LSTM)]] , prendendo il valore del layer nascosto al termine della codifica della frase.

Alesaccoia il 11:17, 1 apr 2024

2024-04-01T11:17:21Z

← Versione meno recente		Versione delle 11:17, 1 apr 2024
Riga 1:		Riga 1:
	Famosissimo paper che ~~riguarda~~ il meccanismo di [[Attention]].		Famosissimo paper del 2017 di [[Vaswani]] et al. che parallelizza il meccanismo di [[Attention]], eliminando la necessità di utilizzo di reti neurali ricorsive nei task di traduzione e di generazione del testo: è il paper che implementa l'architettura [[Transformer (Architettura di Deep Learning)\|Transformer.]]

			=== Background ===
	Tradizionalmente, nei task di [[Automatic Translation\|automatic translation]], è stato utilizzato il modello [[Sequence To Sequence (Seq2Seq)\|Sequence To Sequence]], in cui la rappresentazione della frase		Tradizionalmente, nei task di [[Automatic Translation\|automatic translation]], è stato utilizzato il modello [[Sequence To Sequence (Seq2Seq)\|Sequence To Sequence]], in cui la rappresentazione della frase
	Il gatto mangia il topo		Il gatto mangia il topo
Riga 10:		Riga 11:
	* Passato alla RNN o LSTM che aggiorna lo stato nascosto, anche in base al valore precedente dello stato nascosto H		* Passato alla RNN o LSTM che aggiorna lo stato nascosto, anche in base al valore precedente dello stato nascosto H
	L'ultimo stato nascosto viene poi mandato al Decoder che può a questo punto iniziare a emettere token in base alla rappresentazione "densa" contenuta nello stato nascosto dell'encoder. Anche in questo caso viene utilizzata una rete LSTM in modalità autoregressiva, usando come input l'ultimo token emesso in output.		L'ultimo stato nascosto viene poi mandato al Decoder che può a questo punto iniziare a emettere token in base alla rappresentazione "densa" contenuta nello stato nascosto dell'encoder. Anche in questo caso viene utilizzata una rete LSTM in modalità autoregressiva, usando come input l'ultimo token emesso in output.


	Il problema è che il decoder ha come uniche informazioni su cui decidere quale token emettere: l'ultimo token emesso, e lo stato nascosto. Immaginiamo il numero di trasformazioni che sono già state eseguite da quando "mangia" è stato codificato a quando '''eats''' dev'essere emessa.		Il problema è che il decoder ha come uniche informazioni su cui decidere quale token emettere: l'ultimo token emesso, e lo stato nascosto. Immaginiamo il numero di trasformazioni che sono già state eseguite da quando "mangia" è stato codificato a quando '''eats''' dev'essere emessa.
	The cat '''eats'''		The cat '''eats'''
	L'idea è che il decoder possa "vedere" direttamente gli stati nascosti del decoder		L'idea che il decoder possa "vedere" direttamente gli stati nascosti del decoder fu implementata da [[Attention (Machine Learning)\|Bahdanau]] nel 2014 e migliorata da Luong nel 2015.

			=== Contributo ===
			I modelli Extended Neural GPU, ByteNet e ConvS2S avevano già proposto l'eliminazione della parte ricorrente nel modelli [[Sequence to Sequence (seq2seq)\|seq2seq]], parallelizzando le operazioni attraverso l'uso di [[Reti Neurali Convoluzionali (CNN)\|CNN]] : ma in questi modelli il numero di operazioni necessarie per stabilire una relazione fra due punti arbitrari della sequenza di input e di ouput cresce con la distanza fra le loro posizioni: linearmente per ConvS2S e in maniera logaritmica in ByteNet, e questo rende più difficile imparare le dipendenze fra posizioni distanti. Nel Transformer, questo numero viene reso costante: questo implica una diminuzione della risoluzione a causa dell'operazione di media aritmetica sulle posizioni, un effetto che viene però alleviato con l'utilizzo del meccanismo della Multi-headed attention.

	=== Links ===		=== Links ===

Alesaccoia il 16:32, 25 mar 2024

2024-03-25T16:32:35Z

← Versione meno recente		Versione delle 16:32, 25 mar 2024
Riga 19:		Riga 19:
	=== Links ===		=== Links ===
	[http://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformer]		[http://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformer]

	[https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py Implementazione del Transformer in tensor2tensor]		[https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py Implementazione del Transformer in tensor2tensor]

	[[Category:Pubblicazione]]		[[Category:Pubblicazione]]

Alesaccoia il 16:32, 25 mar 2024

2024-03-25T16:32:21Z

← Versione meno recente		Versione delle 16:32, 25 mar 2024
Riga 19:		Riga 19:
	=== Links ===		=== Links ===
	[http://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformer]		[http://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformer]
			[https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/models/transformer.py Implementazione del Transformer in tensor2tensor]

	[[Category:Pubblicazione]]		[[Category:Pubblicazione]]

Alesaccoia il 20:10, 23 mar 2024

2024-03-23T20:10:05Z

← Versione meno recente		Versione delle 20:10, 23 mar 2024
Riga 17:		Riga 17:


	~~to be continued~~		=== Links ===
			[http://nlp.seas.harvard.edu/2018/04/03/attention.html The Annotated Transformer]

	[[Category:Pubblicazione]]		[[Category:Pubblicazione]]

Alesaccoia il 17:16, 21 mar 2024

2024-03-21T17:16:22Z

← Versione meno recente		Versione delle 17:16, 21 mar 2024
Riga 1:		Riga 1:
			Famosissimo paper che riguarda il meccanismo di [[Attention]].

	Tradizionalmente, nei task di [[Automatic Translation\|automatic translation]], è stato utilizzato il modello [[Sequence To Sequence (Seq2Seq)\|Sequence To Sequence]], in cui la rappresentazione della frase		Tradizionalmente, nei task di [[Automatic Translation\|automatic translation]], è stato utilizzato il modello [[Sequence To Sequence (Seq2Seq)\|Sequence To Sequence]], in cui la rappresentazione della frase
	Il gatto mangia il topo		Il gatto mangia il topo
Riga 7:		Riga 9:
	* Codificato in '''Word''' Embedding		* Codificato in '''Word''' Embedding
	* Passato alla RNN o LSTM che aggiorna lo stato nascosto, anche in base al valore precedente dello stato nascosto H		* Passato alla RNN o LSTM che aggiorna lo stato nascosto, anche in base al valore precedente dello stato nascosto H
			L'ultimo stato nascosto viene poi mandato al Decoder che può a questo punto iniziare a emettere token in base alla rappresentazione "densa" contenuta nello stato nascosto dell'encoder. Anche in questo caso viene utilizzata una rete LSTM in modalità autoregressiva, usando come input l'ultimo token emesso in output.


			Il problema è che il decoder ha come uniche informazioni su cui decidere quale token emettere: l'ultimo token emesso, e lo stato nascosto. Immaginiamo il numero di trasformazioni che sono già state eseguite da quando "mangia" è stato codificato a quando '''eats''' dev'essere emessa.
			The cat '''eats'''
			L'idea è che il decoder possa "vedere" direttamente gli stati nascosti del decoder


			to be continued

	[[Category:Pubblicazione]]		[[Category:Pubblicazione]]