Sequence to Sequence (seq2seq) - Cronologia

Alesaccoia il 12:19, 10 set 2024

2024-09-10T12:19:45Z

← Versione meno recente		Versione delle 12:19, 10 set 2024
Riga 33:		Riga 33:
	[[File:Seq2seq.png\|senza_cornice\|600x600px]]		[[File:Seq2seq.png\|senza_cornice\|600x600px]]

	=== ~~Links~~ ===		=== Collegamenti ===
			https://machinecurve.com/index.php/2020/12/21/from-vanilla-rnns-to-transformers-a-history-of-seq2seq-learning

	https://arxiv.org/abs/1406.1078		https://arxiv.org/abs/1406.1078

Alesaccoia il 05:04, 9 set 2024

2024-09-09T05:04:17Z

← Versione meno recente		Versione delle 05:04, 9 set 2024
Riga 15:		Riga 15:

	=== Esempio di utilizzo nel task di traduzione automatica ===		=== Esempio di utilizzo nel task di traduzione automatica ===
	La pubblicazione [https://arxiv.org/abs/1406.1078 Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation] del 2014 dimostra il concetto perfettamente. Si può seguire il codice nell'implementazione in Pytorch a [https://github.com/graykode/nlp-tutorial/blob/d05e31ec81d56d70c1db89b99ab07e948f7ebc11/4-1.Seq2Seq/Seq2Seq.py#L56 questo URL] (che contiene un errore però nel padding delle sequenze di output) o a [https://github.com/bentrevett/pytorch-seq2seq/blob/main/2%20-%20Learning%20Phrase%20Representations%20using%20RNN%20Encoder-Decoder%20for%20Statistical%20Machine%20Translation.ipynb questo URL], più complesso ma aderente alla pubblicazione: usa anche la tecnica di [[Teacher Forcing (Reti Neurali)\|teacher forcing]] e fa una valutazione [[BLEU]] alla fine.		La pubblicazione [https://arxiv.org/abs/1406.1078 Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation] del 2014 dimostra il concetto perfettamente. Si può seguire il codice nell'implementazione in Pytorch a [https://github.com/graykode/nlp-tutorial/blob/d05e31ec81d56d70c1db89b99ab07e948f7ebc11/4-1.Seq2Seq/Seq2Seq.py#L56 questo URL] (che contiene un errore però nel padding delle sequenze di output) o a [https://github.com/bentrevett/pytorch-seq2seq/blob/main/2%20-%20Learning%20Phrase%20Representations%20using%20RNN%20Encoder-Decoder%20for%20Statistical%20Machine%20Translation.ipynb questo URL], più complesso ma aderente alla pubblicazione: usa anche la tecnica di [[Teacher Forcing (Reti Neurali)\|teacher forcing]] e fa una valutazione [[Bilingual Evaluation Understudy (BLEU)\|BLEU]] alla fine.

	Concettualmente, il modello Seq2Seq viene rappresentato come due RNN. Durante il [[forward pass]]:		Concettualmente, il modello Seq2Seq viene rappresentato come due RNN. Durante il [[forward pass]]:

Alesaccoia il 18:13, 8 set 2024

2024-09-08T18:13:15Z

← Versione meno recente		Versione delle 18:13, 8 set 2024
Riga 24:		Riga 24:
	Durante la fase di addestramento, la perdita viene calcolata confrontando l'output con il target, codificato con un token di fine sequenza. La backpropagation in questo caso cercherà di far sì che le sequenze di output assomiglino a quelle di input il più possibile.		Durante la fase di addestramento, la perdita viene calcolata confrontando l'output con il target, codificato con un token di fine sequenza. La backpropagation in questo caso cercherà di far sì che le sequenze di output assomiglino a quelle di input il più possibile.

	Durante la fase di inferenza, il token si inizio di ~~frase~~ fa sì che la rete cominci a elaborare e emettere i token.		Durante la fase di inferenza, il token di inizio frase (anche detto [[sequenza di priming]]) fa sì che la rete cominci a elaborare e emettere i token.

	=== Rappresentazione Grafica ===		=== Rappresentazione Grafica ===

Mindmakerbot il 13:47, 17 ago 2024

2024-08-17T13:47:20Z

← Versione meno recente		Versione delle 13:47, 17 ago 2024
Riga 43:		Riga 43:
	\|title=Sequence to Sequence Model		\|title=Sequence to Sequence Model
	\|title_mode=append		\|title_mode=append
	\|keywords="reti neurali, deep learning, traduzione automatica, sequenze, encoder-decoder, NLP, elaborazione del linguaggio naturale, intelligenza artificiale, apprendimento automatico, modello linguistico"		\|keywords=reti neurali, deep learning, traduzione automatica, sequenze, encoder-decoder, NLP, elaborazione del linguaggio naturale, intelligenza artificiale, apprendimento automatico, modello linguistico
	\|description="Il modello Sequence to Sequence (seq2seq) è un approccio di deep learning basato su un'architettura encoder-decoder, utilizzato principalmente per la traduzione automatica e la generazione di didascalie di immagini. L'encoder elabora la sequenza di input e ne crea una rappresentazione semantica, mentre il decoder utilizza questa rappresentazione per generare una sequenza di output. Questo modello ha gettato le basi per architetture più avanzate come i Transformer."		\|description=Il modello Sequence to Sequence (seq2seq) è un approccio di deep learning basato su un'architettura encoder-decoder, utilizzato principalmente per la traduzione automatica e la generazione di didascalie di immagini. L'encoder elabora la sequenza di input e ne crea una rappresentazione semantica, mentre il decoder utilizza questa rappresentazione per generare una sequenza di output. Questo modello ha gettato le basi per architetture più avanzate come i Transformer.
	\|image=Seq2seq.png		\|image=Seq2seq.png
	}}		}}

Mindmakerbot il 13:34, 17 ago 2024

2024-08-17T13:34:51Z

← Versione meno recente		Versione delle 13:34, 17 ago 2024
Riga 39:		Riga 39:

	[[Category:architettura]]		[[Category:architettura]]

			{{#seo:
			\|title=Sequence to Sequence Model
			\|title_mode=append
			\|keywords="reti neurali, deep learning, traduzione automatica, sequenze, encoder-decoder, NLP, elaborazione del linguaggio naturale, intelligenza artificiale, apprendimento automatico, modello linguistico"
			\|description="Il modello Sequence to Sequence (seq2seq) è un approccio di deep learning basato su un'architettura encoder-decoder, utilizzato principalmente per la traduzione automatica e la generazione di didascalie di immagini. L'encoder elabora la sequenza di input e ne crea una rappresentazione semantica, mentre il decoder utilizza questa rappresentazione per generare una sequenza di output. Questo modello ha gettato le basi per architetture più avanzate come i Transformer."
			\|image=Seq2seq.png
			}}

Alesaccoia il 15:20, 27 mag 2024

2024-05-27T15:20:37Z

← Versione meno recente		Versione delle 15:20, 27 mag 2024
Riga 1:		Riga 1:
	~~Nome: [[Nome::Modello da sequenza a sequenza]]~~		{{template architettura
			\|NomeInglese=Sequence to Sequence Model
	~~Nome Inglese: [[~~NomeInglese::Sequence to Sequence Model]]		\|Sigla=seq2seq
			\|AnnoDiCreazione=2014
	~~Sigla: [[~~Sigla::seq2seq]]		\|Pubblicazione=Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation
			\|URLHomePage=https://arxiv.org/abs/1406.1078
	~~Anno Di Creazione: [[~~AnnoDiCreazione::2014]]		\|Topic=Sequenze, Reti neurali, traduzione, Generazione
			}}
	Pubblicazione~~: [[Pubblicazione::~~Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation]]




	Classe di approcci e metodi utilizzati nel campo del deep learning, soprattutto nei task di traduzione automatica ma anche, per esempio, per la creazione di didascalie di immagini. Essi fondano le basi concettuali per le architetture [[Transformer (Architettura di Deep Learning)\|transformer]].		Classe di approcci e metodi utilizzati nel campo del deep learning, soprattutto nei task di traduzione automatica ma anche, per esempio, per la creazione di didascalie di immagini. Essi fondano le basi concettuali per le architetture [[Transformer (Architettura di Deep Learning)\|transformer]].

Riga 44:		Riga 39:

	[[Category:architettura]]		[[Category:architettura]]

	~~__SHOWFACTBOX__~~

Sara Maserati il 10:03, 10 apr 2024

2024-04-10T10:03:10Z

← Versione meno recente		Versione delle 10:03, 10 apr 2024
Riga 9:		Riga 9:
	Pubblicazione: [[Pubblicazione::Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation]]		Pubblicazione: [[Pubblicazione::Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation]]

	~~Topic: [[Topic::Modello efficace per gestire dati sequenziali di lunghezze variabili, utilizzato principalmente nel campo del NLP]]~~

Sara Maserati il 14:51, 9 apr 2024

2024-04-09T14:51:04Z

← Versione meno recente		Versione delle 14:51, 9 apr 2024
Riga 45:		Riga 45:

	[[Category:architettura]]		[[Category:architettura]]

			__SHOWFACTBOX__

Sara Maserati il 14:50, 9 apr 2024

2024-04-09T14:50:31Z

← Versione meno recente		Versione delle 14:50, 9 apr 2024
Riga 9:		Riga 9:
	Pubblicazione: [[Pubblicazione::Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation]]		Pubblicazione: [[Pubblicazione::Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation]]

	Topic: [[Topic::Modello efficace per gestire dati sequenziali di lunghezze variabili, utilizzato principalmente nel campo del [NLP]]]		Topic: [[Topic::Modello efficace per gestire dati sequenziali di lunghezze variabili, utilizzato principalmente nel campo del NLP]]

Sara Maserati il 14:50, 9 apr 2024

2024-04-09T14:50:23Z

← Versione meno recente		Versione delle 14:50, 9 apr 2024
Riga 9:		Riga 9:
	Pubblicazione: [[Pubblicazione::Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation]]		Pubblicazione: [[Pubblicazione::Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation]]

	Topic: [[Topic::Modello efficace per gestire dati sequenziali di lunghezze variabili, utilizzato principalmente nel campo del [[NLP]] ]]		Topic: [[Topic::Modello efficace per gestire dati sequenziali di lunghezze variabili, utilizzato principalmente nel campo del [NLP]]]