Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
| Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets | |
|---|---|
| Data | 2022 |
| Autori | Alethea Power, Yuri Burda, Harrison Edwards, Igor Babuschkin, Vedant Misra |
| URL | https://www.semanticscholar.org/paper/a1d1983a7b19845141e6505bd32dc395e5a136ba |
| Topic | Grokking |
| Citazioni | 223 |
Questo articolo esplora la generalizzazione delle reti neurali su piccoli set di dati generati algoritmicamente. Gli autori dimostrano che le reti neurali possono imparare un modello nei dati attraverso un processo di "grokking", migliorando le prestazioni di generalizzazione dal livello casuale alla generalizzazione perfetta, e che questo miglioramento nella generalizzazione può verificarsi ben oltre il punto di overfitting.