Deep Convolutional Neural Networks (AlexNet)

Deep Convolutional Neural Networks (AlexNet)
Data	2012
Autori	Yong-Deok Kim, Eunhyeok Park, S. Yoo, Taelim Choi, Lu Yang, Dongjun Shin
URL	https://www.semanticscholar.org/paper/4ca3b996d888d7178dbbf9855bb2ab253bdfa43d
Topic	Compressione di Reti Neurali
Citazioni	844

Questo articolo presenta un metodo per comprimere le reti neurali convoluzionali profonde (CNN) al fine di renderle più efficienti per l'esecuzione su dispositivi mobili. Il metodo proposto, chiamato "one-shot whole network compression", si compone di tre fasi: selezione del rango con fattorizzazione matriciale variazionale bayesiana, decomposizione di Tucker sul tensore del kernel e fine-tuning per recuperare la perdita di accuratezza accumulata. Gli autori dimostrano l'efficacia del loro metodo comprimendo diverse CNN (AlexNet, VGGS, GoogLeNet e VGG-16) e testandole su smartphone. I risultati mostrano significative riduzioni delle dimensioni del modello, del tempo di esecuzione e del consumo energetico, a fronte di una piccola perdita di accuratezza. L'articolo affronta anche l'importante questione dell'implementazione della convoluzione 1x1, un'operazione chiave del modulo inception di GoogLeNet e delle CNN compresse dal metodo proposto.