Embeddings

Nets are for fish: Once you get the fish, you can forget the net.

Words are for meaning: Once you get the meaning, you can forget the words

(Zhuangzi, Chapter 26)[1]

L’ipotesi distribuzionale dice che parole che appaiono in contesti simili hanno significati simili: su quest'ipotesi si basa il campo della semantica distribuzionale. Gli embeddings sono la realizzazione di ques'ipotesi: sono delle rappresentazioni delle parole che vengono calcolate partendo dalla distribuzione delle parole nel testo. Queste rappresentazioni vengono utilizzate in pratica in tutte le applicazioni di NLP (NLU)che abbiano a che fare con il significato del testo. Sono anche un esempio di representazion learning .

Bibliografia

[1] Dan Jurafsky and James H. Martin - Speech and Language Processing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition - 3rd Edition (2020)