Modifica Modulo pubblicazione: Learning long-term dependencies with gradient descent is difficult

Data:
Autori:	Yoshua BengioPatrice Y. SimardP. Frasconi ×Yoshua Bengio ×Patrice Y. Simard ×P. Frasconi
URL:
Topic:	Recurrent Neural NetworksReti Neurali Ricorrenti ×Recurrent Neural Networks ×Reti Neurali Ricorrenti
Citazioni:

Testo libero:

Questo articolo esplora le difficoltà nell'addestrare reti neurali ricorrenti (RNN) per apprendere dipendenze a lungo termine utilizzando la discesa del gradiente. Gli autori dimostrano che, all'aumentare della durata delle dipendenze temporali, l'apprendimento basato sul gradiente diventa sempre più problematico. Questo fenomeno evidenzia un compromesso tra l'efficienza dell'apprendimento tramite la discesa del gradiente e la capacità di trattenere informazioni per lunghi periodi. L'articolo analizza le ragioni di questa difficoltà e propone alternative alla discesa del gradiente standard per affrontare questo problema. [[Category:pubblicazione]] {{#seo: |title=Learning long-term dependencies with gradient descent is difficult |title_mode=append |keywords=reti neurali, apprendimento automatico, discesa del gradiente, dipendenze a lungo termine, intelligenza artificiale, elaborazione del linguaggio naturale, visione artificiale, serie temporali, analisi predittiva, apprendimento profondo |description=Questa pubblicazione esplora le difficoltà nell'addestrare reti neurali ricorrenti (RNN) per apprendere dipendenze a lungo termine tramite la discesa del gradiente. Gli autori dimostrano che l'apprendimento diventa più difficile all'aumentare della durata delle dipendenze, evidenziando un compromesso tra efficienza e capacità di trattenere informazioni a lungo termine. Vengono analizzate le cause di questa difficoltà e proposte alternative alla discesa del gradiente standard. }}