Deep Convolutional Neural Networks (AlexNet)

Da Wiki AI.
Deep Convolutional Neural Networks (AlexNet)
Data 2012
Autori Yong-Deok Kim, Eunhyeok Park, S. Yoo, Taelim Choi, Lu Yang, Dongjun Shin
URL https://www.semanticscholar.org/paper/4ca3b996d888d7178dbbf9855bb2ab253bdfa43d
Topic Compressione di Reti Neurali
Citazioni 844


Questo articolo presenta un metodo per comprimere le reti neurali convoluzionali profonde (CNN) al fine di renderle più efficienti per l'esecuzione su dispositivi mobili. Il metodo proposto, chiamato "one-shot whole network compression", si compone di tre fasi: selezione del rango con fattorizzazione matriciale variazionale bayesiana, decomposizione di Tucker sul tensore del kernel e fine-tuning per recuperare la perdita di accuratezza accumulata. Gli autori dimostrano l'efficacia del loro metodo comprimendo diverse CNN (AlexNet, VGGS, GoogLeNet e VGG-16) e testandole su smartphone. I risultati mostrano significative riduzioni delle dimensioni del modello, del tempo di esecuzione e del consumo energetico, a fronte di una piccola perdita di accuratezza. L'articolo affronta anche l'importante questione dell'implementazione della convoluzione 1x1, un'operazione chiave del modulo inception di GoogLeNet e delle CNN compresse dal metodo proposto.