Visualizza wikitesto di On the difficulty of training recurrent neural networks

{{template pubblicazione
|data=2014
|autori=Razvan Pascanu, Tomas Mikolov, Yoshua Bengio
|URL=https://www.semanticscholar.org/paper/84069287da0a6b488b8c933f3cb5be759cb6237e
|topic=Reti Neurali Ricorrenti
|citazioni=5031
}}

Questo articolo affronta le difficoltà nell'addestramento delle reti neurali ricorrenti, in particolare i problemi del gradiente che svanisce e del gradiente che esplode. Gli autori analizzano questi problemi da diverse prospettive (analitica, geometrica e dei sistemi dinamici) per fornire una comprensione più approfondita. 

Per affrontare queste sfide, l'articolo propone due soluzioni: una strategia di clipping della norma del gradiente per gestire i gradienti che esplodono e un vincolo soft per il problema dei gradienti che svaniscono. L'efficacia di queste soluzioni viene convalidata empiricamente attraverso esperimenti.

{{#seo:
            |title=On the difficulty of training recurrent neural networks
            |title_mode=append
            |keywords=reti neurali, apprendimento profondo, reti neurali ricorrenti, gradiente che svanisce, gradiente che esplode, clipping del gradiente, addestramento, ottimizzazione
            |description=Questa pubblicazione esplora le difficoltà nell'addestramento delle reti neurali ricorrenti, analizzando i problemi del gradiente che svanisce e che esplode. Vengono proposte soluzioni come il clipping della norma del gradiente e un vincolo soft, convalidate da esperimenti.
            
            }}