A Focused Backpropagation Algorithm for Temporal Pattern Recognition: differenze tra le versioni

Da Wiki AI.
Nessun oggetto della modifica
Nessun oggetto della modifica
Riga 9: Riga 9:
Descrive una nuova architettura per reti neurali e una versione migliorata dell'algoritmo di apprendimento back-propagation, progettata per gestire in modo più efficiente le sequenze temporali, come nel caso del riconoscimento vocale.  
Descrive una nuova architettura per reti neurali e una versione migliorata dell'algoritmo di apprendimento back-propagation, progettata per gestire in modo più efficiente le sequenze temporali, come nel caso del riconoscimento vocale.  


L'elemento innovativo principale è l'introduzione di uno strato di unità nascoste che si autoconnettono e integrano il loro valore corrente con nuovi input a ogni passo temporale, costruendo così una rappresentazione statica della sequenza temporale. Questo approccio permette di superare due limiti delle architetture ricorrenti tradizionali: facilita l'assegnazione del credito temporale, rendendo l'apprendimento più efficiente, ed elimina la necessità di memorizzare l'intera sequenza o i livelli intermedi di attività, poiché le informazioni possono essere calcolate localmente durante la fase di attivazione. Questo sistema è stato applicato per creare una versione temporale del modello dei verbi al passato di Rumelhart e McClelland, dimostrando che le unità nascoste possono imparare a rappresentare in modo flessibile le informazioni temporali. L'architettura proposta si distingue per una maggiore efficienza in termini di tempo e risorse e dovrebbe essere in grado di gestire meglio le sequenze lunghe rispetto alle architetture ricorrenti convenzionali.
L'elemento innovativo principale è l'introduzione di uno strato di unità nascoste che si autoconnettono e integrano il loro valore corrente con nuovi input a ogni passo temporale, costruendo così una rappresentazione statica della sequenza temporale.

Versione delle 07:58, 17 ago 2024

A Focused Backpropagation Algorithm for Temporal Pattern Recognition
Data 1989
Autori Michael C. Mozer
URL https://wpmedia.wolfram.com/sites/13/2018/02/03-4-4.pdf
Topic Backpropagation
Citazioni 87686


Descrive una nuova architettura per reti neurali e una versione migliorata dell'algoritmo di apprendimento back-propagation, progettata per gestire in modo più efficiente le sequenze temporali, come nel caso del riconoscimento vocale.

L'elemento innovativo principale è l'introduzione di uno strato di unità nascoste che si autoconnettono e integrano il loro valore corrente con nuovi input a ogni passo temporale, costruendo così una rappresentazione statica della sequenza temporale.