Finding Structure in Time

Finding Structure in Time
Data	1990
Autori	J. Elman
URL	https://www.semanticscholar.org/paper/668087f0ae7ce1de6e0bd0965dbb480c08103260
Topic	Apprendimento sequenziale nelle reti neurali
Citazioni	11242

Questo articolo esplora come le reti neurali possono rappresentare il tempo, un fattore chiave in molti comportamenti umani. Invece di una rappresentazione esplicita, l'approccio proposto utilizza connessioni ricorrenti per creare una memoria dinamica. I pattern delle unità nascoste vengono reintrodotti nella rete, consentendo alle rappresentazioni interne di evolversi in base agli input e agli stati interni precedenti.

Attraverso una serie di simulazioni, che spaziano da semplici problemi temporali (come una versione temporale di XOR) all'apprendimento di caratteristiche sintattiche e semantiche delle parole, l'articolo dimostra come le reti possano sviluppare rappresentazioni interne complesse. Queste rappresentazioni integrano le richieste del compito con la memoria, creando una connessione intrinseca tra elaborazione delle informazioni e memoria. La struttura ricca di queste rappresentazioni consente sia la dipendenza dal contesto che la generalizzazione tra diverse classi di elementi, offrendo un metodo per rappresentare categorie lessicali e la distinzione tra tipo e occorrenza.