Deep Convolutional Neural Networks (AlexNet)
Deep Convolutional Neural Networks (AlexNet) | |
---|---|
Data | 2012 |
Autori | Yong-Deok Kim, Eunhyeok Park, S. Yoo, Taelim Choi, Lu Yang, Dongjun Shin |
URL | https://www.semanticscholar.org/paper/4ca3b996d888d7178dbbf9855bb2ab253bdfa43d |
Topic | Compressione di Reti Neurali |
Citazioni | 844 |
Questo articolo presenta un metodo per comprimere le reti neurali convoluzionali profonde (CNN) al fine di renderle più efficienti per l'esecuzione su dispositivi mobili. Il metodo proposto, chiamato "one-shot whole network compression", si compone di tre fasi: selezione del rango con fattorizzazione matriciale variazionale bayesiana, decomposizione di Tucker sul tensore del kernel e fine-tuning per recuperare la perdita di accuratezza accumulata. Gli autori dimostrano l'efficacia del loro metodo comprimendo diverse CNN (AlexNet, VGGS, GoogLeNet e VGG-16) e testandole su smartphone. I risultati mostrano significative riduzioni delle dimensioni del modello, del tempo di esecuzione e del consumo energetico, a fronte di una piccola perdita di accuratezza. L'articolo affronta anche l'importante questione dell'implementazione della convoluzione 1x1, un'operazione chiave del modulo inception di GoogLeNet e delle CNN compresse dal metodo proposto.