Rete Neurale Ricorrente (RNN)
Sono una delle due tipologie in cui si dividono le Reti Neurali, insieme a quella Feed-Forward, dalla quale si differenziano per avere la capacità di "memoria": l'output a una determinata esecuzione non dipende solamente dall'input corrente, ma anche dagli output passati. Questo le rende particolarmente adatte all'elaborazione di sequenze di lunghezza arbitraria.
Funzionamento
Al centro del funzionamento della RNN vi è un vettore monodimensionale chiamato "hidden layer", di lunghezza arbitraria a seconda della dimensione del contenuto che si vuole la rete apprenda: questo parametro è chiamato normalmente dimensione del layer nascosto, o hidden_layer_size. Un vettore troppo piccolo per l'obiettivo dell'addestramento non convergerà, un vettore troppo grande provocherà overfitting.
In un determinato step di esecuzione, chiamato normalmente t, come mostrato in Figura 1:
- all'input della rete viene passato un vettore di input X_t di lunghezza predefinita (input_size_: questa può essere ad esempio una rappresentazione one-hot, embedding, le posizioni sui tre assi cartesiani, i pixel di un'immagine oppure una concatenazione di features provenienti da sensori
- X_t viene moltiplicato per la matrixe Wih e vengono aggiunti i bias Bih
- Il contenuto precendente (H_1) del vettore nascosto viene moltiplicato per la matrice Whh, e vengono aggiunti i bias Bhh
- I vettori precedenti vengono sommati, e questa somma è il nuovo valore del vettore del layer nascosto, H_t
- Questo valore viene poi passato da un Layer di pesi e bias per ottenere i logit in output
Tutorial
Come creare una RNN da zero con PyTorch
Link
Finding Structure in Time (Elman, 1990)
https://karpathy.github.io/2015/05/21/rnn-effectiveness/