Long Short-Term Memory

Long Short-Term Memory
Data	1997
Autori	Sepp Hochreiter, J. Schmidhuber
URL	https://www.semanticscholar.org/paper/2e9d221c206e9503ceb452302d68d10e293f2a10
Topic	Reti Neurali Ricorrenti
Citazioni	80233

L'apprendimento per memorizzare informazioni su intervalli di tempo estesi tramite backpropagation ricorrente richiede molto tempo, soprattutto a causa di un flusso di errore insufficiente e in decadimento. Questo articolo introduce un metodo nuovo, efficiente e basato sul gradiente chiamato memoria a breve e lungo termine (LSTM). Troncando il gradiente dove questo non fa male, LSTM può imparare a colmare ritardi minimi superiori a 1000 passi temporali discreti imponendo un flusso di errore costante attraverso carosello di errore costanti all'interno di unità speciali. Le unità gate moltiplicative imparano ad aprire e chiudere l'accesso al flusso di errore costante. LSTM è locale nello spazio e nel tempo; la sua complessità computazionale per passo temporale e peso è O(1).