A Focused Backpropagation Algorithm for Temporal Pattern Recognition

A Focused Backpropagation Algorithm for Temporal Pattern Recognition
Data	1989
Autori	Michael C. Mozer
URL	https://wpmedia.wolfram.com/sites/13/2018/02/03-4-4.pdf
Topic	Backpropagation
Citazioni	87686

Descrive una nuova architettura per reti neurali e una versione migliorata dell'algoritmo di apprendimento back-propagation, progettata per gestire in modo più efficiente le sequenze temporali, come nel caso del riconoscimento vocale.

L'elemento innovativo principale è l'introduzione di uno strato di unità nascoste che si autoconnettono e integrano il loro valore corrente con nuovi input a ogni passo temporale, costruendo così una rappresentazione statica della sequenza temporale. Questo approccio permette di superare due limiti delle architetture ricorrenti tradizionali: facilita l'assegnazione del credito temporale, rendendo l'apprendimento più efficiente, ed elimina la necessità di memorizzare l'intera sequenza o i livelli intermedi di attività, poiché le informazioni possono essere calcolate localmente durante la fase di attivazione. Questo sistema è stato applicato per creare una versione temporale del modello dei verbi al passato di Rumelhart e McClelland, dimostrando che le unità nascoste possono imparare a rappresentare in modo flessibile le informazioni temporali. L'architettura proposta si distingue per una maggiore efficienza in termini di tempo e risorse e dovrebbe essere in grado di gestire meglio le sequenze lunghe rispetto alle architetture ricorrenti convenzionali.