Visualizza wikitesto di Rete Neurale Ricorrente (RNN)


Nome: [[Nome::Rete Neurale Ricorrente]]

Nome Inglese: [[NomeInglese::Recurrent Neural Networks]]

Sigla: [[Sigla::RNN]]

Anno Di Creazione: [[AnnoDiCreazione::1990]]

URLHomePage:

Pubblicazioni: [[Pubblicazioni::Finding Structure in Time (Elman, 1990);]]
                                

Topic:



Nome: Il nome ufficiale dell'architettura.
NomeInglese: Nome del'architettura in inglese
Sigla: Un'abbreviazione o acronimo associato all'architettura.
AnnoDiCreazione: L'anno in cui l'architettura è stata proposta o introdotta per la prima volta.
URLHomePage: http://esempioarchitettura.com Un collegamento all'homepage dell'architettura.
Pubblicazione: Pubblicazione/i
Topic: Uno o piu topic

Sono una delle due tipologie in cui si dividono le Reti Neurali, insieme a quella [[Feed-Forward]], dalla quale si differenziano per avere la capacità di "memoria": l'output a una determinata esecuzione non dipende solamente dall'input corrente, ma anche dagli output passati. Questo le rende particolarmente adatte all'elaborazione di '''sequenze di lunghezza arbitraria'''. 

=== Funzionamento ===
Al centro del funzionamento della RNN vi è un '''vettore monodimensionale''' chiamato "hidden layer", di lunghezza arbitraria a seconda della dimensione del contenuto che si vuole la rete apprenda: questo parametro è chiamato normalmente ''dimensione del layer nascosto, o hidden_layer_size.'' Un vettore troppo piccolo per l'obiettivo dell'addestramento non convergerà, un vettore troppo grande provocherà overfitting.

In un determinato step di esecuzione, chiamato normalmente ''t'', come mostrato in Figura 1:

* all'input della rete viene passato un vettore di input ''X_t'' di lunghezza predefinita (''input_size_'': questa può essere ad esempio una rappresentazione one-hot, embedding, le posizioni sui tre assi cartesiani, i pixel di un'immagine oppure una concatenazione di features provenienti da sensori
* ''X_t'' viene moltiplicato per la matrixe ''Wih'' e vengono aggiunti i bias ''Bih''
* Il contenuto precendente (''H_1)'' del vettore nascosto viene moltiplicato per la matrice ''Whh'', e vengono aggiunti i bias ''Bhh''
* I vettori precedenti vengono sommati, e questa somma è il nuovo valore del vettore del layer nascosto, '''H_t'''
* Questo valore viene poi passato da un Layer di pesi e bias per ottenere i [[Logit (Reti Neurali)|logit]] in output
[[File:Calcolo Matriciale RNN.png|nessuno|miniatura|899x899px|Figura 1: Calcolo matriciale all'interno di una RNN]]

== Tutorial ==
[[Come creare una RNN da zero con PyTorch]]

[https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html Tutorial ufficiale di Pytorch]

== Link ==
[https://onlinelibrary.wiley.com/doi/epdf/10.1207/s15516709cog1402_1 Finding Structure in Time (Elman, 1990)]

https://karpathy.github.io/2015/05/21/rnn-effectiveness/

[https://arxiv.org/pdf/1308.0850.pdf Generating Sequences With Recurrent Neural Networks (2014)]

[https://www.youtube.com/watch?v=AsNTP8Kwu80 Miglior Tutorial su Youtube]

[[Category:architettura]]

[https://gist.github.com/karpathy/d4dee566867f8291f086 Karpathy: Minimal character-level Vanilla RNN model in C]


__SHOWFACTBOX__