Efficient Estimation of Word Representations in Vector Space

Efficient Estimation of Word Representations in Vector Space
Data	2013
Autori	Tomas Mikolov, Kai Chen, G. Corrado, J. Dean
URL	https://www.semanticscholar.org/paper/f6b51c8753a871dc94ff32152c00c01e94f90f09
Topic	Word Embeddings
Citazioni	29484

Questo articolo presenta due nuove architetture di modelli per il calcolo di rappresentazioni vettoriali continue di parole da set di dati molto grandi. La qualità di queste rappresentazioni è misurata in un compito di similarità delle parole e i risultati sono confrontati con le tecniche precedentemente più performanti basate su diversi tipi di reti neurali. Gli autori osservano grandi miglioramenti nell'accuratezza a un costo computazionale molto inferiore, ad esempio ci vuole meno di un giorno per apprendere vettori di parole di alta qualità da un set di dati di 1,6 miliardi di parole. Inoltre, dimostrano che questi vettori forniscono prestazioni all'avanguardia sul loro set di test per misurare le somiglianze sintattiche e semantiche delle parole.