Attention (Machine Learning)

Attention (Machine Learning)
Nome Inglese	Attantion
Sigla

Meccanismo implementato nelle architetture di rete neurale che consente a un componente di focalizzarsi su parti specifiche di una sequenza. Inizialmente l'attention viene proposta per migliorare la qualità dell'allineamento e della traduzione nei task di Neural Machine Translation, ma essendo un concetto generale viene presto applicato ad altri compiti come la generazione del testo e ad altri compiti anche relativi al capo delle immagini e del video.

L'implementazione della "Bahdanau Attention" è proposta originariamente in "Neural Machine Translation by Jointly Learning to Align and Translate, 2014": essa sorpassa il lavoro di Cho et al (2014) e di Sutskever et al. (2014), che usavano un framework encoder-decoder basato su RNN per il task di traduzione automatica codificando una frase di lunghezza variabile in un vettore di dimensione fissa.

Bahdanau Attention (Additive Attention)

Bahdanau et al., in "Neural Machine Translation by Jointly Learning to Align and Translate" sostengono che questo vettore di lunghezza fissa spesso non riesca a contenere tutta l'informazione presente nella frase di origine, e la performance degradi velocemente all'allungarsi della sequenza di input, proponendo quindi un vettore di lunghezza variabile.

Propongono quindi, nell'encoder, una RNN bi-direzionale che, per ogni token all'interno della frase, codifichi non solo l'interno contenuto della frase, ma soprattutto il significato delle parole vicine al token corrente: gli stati nascosti della rete per quel token vengono quindi concatenati ed utilizzati, nel decoder, per aggiornare il contesto che non è più "statico" come in Cho et al (2014) (descritto in Sequence to Sequence (seq2seq) ) e in Sequence to Sequence Learning with Neural Networks (12/12/2014) (Sutskever et al. 2014). Il contesto, a ogni token di output che deve essere prodotto, si confronta quindi con gli "attention scores" che indicano quanto ognuno dei token della sequenza di input sia importante per la generazione del token corrente.

Viene chiamata "additiva" perché calcola i pesi dell'attenzione attraverso una combinazione additiva della query e delle chiavi, seguita da una funzione di attivazione non lineare. Questo è in contrasto con metodi successivi come l'attenzione a prodotto scalare (moltiplicativa) utilizzata nel modello Transformer, che calcola i pesi dell'attenzione calcolando il prodotto scalare tra la query e le chiavi.

Il fatto che tutti gli stati nascosti corrispondenti alla sequenza di input vengano utilizzati nell'attention la rende un tipo di attention globale, e ha delle ricadute sulla performance, che verranno migliorate nelle ricerche successive, come nell'attention di Luong.

Attention Scores, dal Paper di Bahdanau et al. Gli score vanno letti con sull'asse delle x la lingua sorgente e asse delle y la lingua di destinazione

Calcolo del Punteggio

La funzione di "punteggio" dell'attenzione calcola quanto bene gli input intorno alla posizione j nella frase sorgente si allineano con l'output alla posizione i nella frase target. Questo punteggio è calcolato utilizzando una rete neurale feedforward, che è dove entra in gioco la natura "additiva".

La formula per il calcolo del punteggio è: ${\textstyle score(h_{t},{\bar {h}}_{s})=v_{a}^{\top }\tanh(W_{1}h_{t}+W_{2}{\bar {h}}_{s})}$

${\textstyle h_{t}}$ è lo stato nascosto target al tempo t, che funge da "query". ${\textstyle {\bar {h}}_{s}}$ è lo stato nascosto sorgente al tempo s, che funge da "chiave". ${\textstyle W_{1}}$ e ${\textstyle W_{2}}$ sono matrici di peso apprese durante l'addestramento. ${\textstyle v_{a}}$ è un vettore di peso, anch'esso appreso durante l'addestramento. La funzione ${\textstyle \tanh }$ fornisce la non linearità.

Pesi dell'Attenzione

I pesi dell'attenzione (noti anche come punteggi di allineamento) vengono quindi calcolati utilizzando una funzione softmax su tutti i punteggi per un dato passo temporale target t, normalizzandoli in modo che la loro somma sia 1: ${\textstyle \alpha _{ts}={\frac {\exp(score(h_{t},{\bar {h}}s))}{\sum {s'}\exp(score(h_{t},{\bar {h}}_{s'}))}}}$

${\textstyle \alpha _{ts}}$ rappresenta il peso dell'attenzione o la quantità di "attenzione" che ${\textstyle h_{t}}$ dovrebbe prestare a ${\textstyle {\bar {h}}_{s}}$.

Vettore di Contesto

Il vettore di contesto (${\textstyle c_{t}}$) per ogni passo temporale target t viene calcolato come una somma pesata degli stati sorgente, con i pesi essendo i punteggi di attenzione calcolati sopra. Questo vettore rappresenta le informazioni di input focalizzate da utilizzare per generare l'output al passo t. ${\textstyle c_{t}=\sum _{s}\alpha _{ts}{\bar {h}}_{s}}$

Generazione dell'Output

Infine, il vettore di contesto ${\textstyle c_{t}}$ e l'attuale stato nascosto target ${\textstyle h_{t}}$ vengono combinati (spesso tramite concatenazione seguita da una trasformazione lineare e attivazione) per generare l'output per la sequenza target al tempo t.

Cosa viene appreso durante la retropropagazione

Durante il processo di apprendimento, il modello regola i pesi delle sue matrici per affinare la qualità della traduzione.

In particolare ${\textstyle \mathbf {W} _{1}}$ e ${\textstyle \mathbf {W} _{2}}$ trasformano rispettivamente la query e le chiavi, permettendo al modello di apprendere come rappresentare al meglio sia le informazioni sorgenti che quelle di destinazione.

L'apprendimento in queste matrici consente al modello di:

• Estrarre caratteristiche sintattiche e semantiche rilevanti.
• Regolare la sensibilità alle diverse tipologie di allineamento tra la sequenza sorgente e quella di destinazione.

Il vettore di pesi ${\textstyle \mathbf {v} _{a}}$ invece proietta il risultato dell'attivazione non lineare a un valore scalare, che rappresenta il punteggio di allineamento, l'apprendimento quindi si concentra su:

• Determinare l'importanza delle caratteristiche estratte, influenzando così la distribuzione dell'attenzione attraverso la sequenza di input.
• Affinare la focalizzazione del modello su parti specifiche dell'input per generare ciascuna parte dell'output.

Quindi:

• Il meccanismo di attenzione impara a identificare quali parti della sequenza di input siano più rilevanti per la generazione di ciascuna parola nella sequenza di output, consentendo traduzioni più accurate e contestualmente appropriate.
• Il modello generalizza le strategie di allineamento apprese a nuovi testi, migliorando la capacità di tradurre accuratamente tra lingue con strutture diverse.

L'attention come modulo generalizzato

L'attention è spesso implementata come un modulo generico che:

• Dato un insieme di vettori chiamati keys o chiavi
• Dato un vettore chiamato query
• Restituisce una somma pesata delle chiavi, in vettori di valori (values) a seconda di quanto esse siano importanti come risultati della ricerca

Links

Paper originale

Effective Approaches to Attention-based Neural Machine Translation (Luong Attention)

The Annotated Encoder-Decoder with Attention (Bahdanau)

https://arxiv.org/abs/1506.07503

https://arxiv.org/abs/1406.1078

https://arxiv.org/abs/1409.3215

Differenza fra Bahdanau e Luong Attention

Tutorial

Si vedano i video di Andrej Karpathy

Presentazione sui vari meccasismi di Attention