Attention (Machine Learning): differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| Riga 7: | Riga 7: | ||
=== Informazioni preliminari === | === Informazioni preliminari === | ||
=== Links === | === Links === | ||
[https://arxiv.org/abs/1409.0473 Paper originale] | [https://arxiv.org/abs/1409.0473 Paper originale] | ||
https://arxiv.org/abs/1506.07503 | |||
https://arxiv.org/abs/1406.1078 | https://arxiv.org/abs/1406.1078 | ||
Versione delle 23:39, 25 mar 2024
L'implementazione della "Bahdanau Attention" è proposta originariamente in "Neural Machine Translation by Jointly Learning to Align and Translate, 2014": essa sorpassa il lavoro di Cho et al (2014) e di Sutskever et al. (2014), che usavano un framework encoder-decoder basato su RNN per il task di traduzione automatica codificando una frase di lunghezza variabile in un vettore di dimensione fissa.
Bahdanau et al. sostengono che questo vettore di lunghezza fissa impoverisca l'informazione presente nella frase di origine, e la performance degradi velocemente all'allungarsi della sequenza di input, proponendo quindi un vettore di lunghezza variabile.
Il paper Attention Is All You Need (2017) implementa l'attention non più utilizzando RNN sequenziali ma in modalità parallela.
Informazioni preliminari
Links
https://arxiv.org/abs/1506.07503