Visualizza wikitesto di Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets


{{template pubblicazione
|data=2022
|autori=Alethea Power, Yuri Burda, Harrison Edwards, Igor Babuschkin, Vedant Misra
|URL=https://www.semanticscholar.org/paper/a1d1983a7b19845141e6505bd32dc395e5a136ba
|topic=Grokking
|citazioni=223
}}

Questo articolo esplora la generalizzazione delle reti neurali su piccoli set di dati generati algoritmicamente. Gli autori dimostrano che le reti neurali possono imparare un modello nei dati attraverso un processo di "grokking", migliorando le prestazioni di generalizzazione dal livello casuale alla generalizzazione perfetta, e che questo miglioramento nella generalizzazione può verificarsi ben oltre il punto di overfitting.


=== Collegamenti ===
https://www.semanticscholar.org/paper/Grokking%3A-Generalization-Beyond-Overfitting-on-Power-Burda/a1d1983a7b19845141e6505bd32dc395e5a136ba

https://www.youtube.com/watch?v=Nvb_4Jj5kBo