Embeddings - Cronologia

Alesaccoia il 17:09, 16 dic 2024

2024-12-16T17:09:04Z

← Versione meno recente		Versione delle 17:09, 16 dic 2024
Riga 41:		Riga 41:
	Word2Vec sono embedding '''statici''' introdotti da Mikolov et al. 2013, Mikolov et al. 2013a [3]: utilizzano un metodo ([[auto-supervisionato]]) per calcolare gli embedding chiamato skip-gram with negative sampling ('''SGNS'''). L'intuizione alla base di Word2Vec è, <u>invece di contare quante volte una parola w1 appare vicino ad un'altra w2, quella di addestrare un classificatore su un task binario sulla probabilità che la parola w1 appaia. vicino a w2:</u> i '''pesi''' di quest classificatore, alla fine dell'addestramento, saranno gli embeddings.		Word2Vec sono embedding '''statici''' introdotti da Mikolov et al. 2013, Mikolov et al. 2013a [3]: utilizzano un metodo ([[auto-supervisionato]]) per calcolare gli embedding chiamato skip-gram with negative sampling ('''SGNS'''). L'intuizione alla base di Word2Vec è, <u>invece di contare quante volte una parola w1 appare vicino ad un'altra w2, quella di addestrare un classificatore su un task binario sulla probabilità che la parola w1 appaia. vicino a w2:</u> i '''pesi''' di quest classificatore, alla fine dell'addestramento, saranno gli embeddings.


			[....] to be continued

Alesaccoia il 16:46, 10 dic 2024

2024-12-10T16:46:23Z

← Versione meno recente		Versione delle 16:46, 10 dic 2024
Riga 3:		Riga 3:
	'''''Words are for meaning: Once you get the meaning, you can forget the words'''''		'''''Words are for meaning: Once you get the meaning, you can forget the words'''''

	(Zhuangzi, Chapter 26)[1]</blockquote>''L’ipotesi distribuzionale'' dice che parole che appaiono in contesti simili hanno significati simili: su quest'ipotesi si basa il campo della '''semantica distribuzionale'''. Gli '''embeddings''' sono la realizzazione di ques'ipotesi: sono delle rappresentazioni delle parole che vengono calcolate partendo dalla distribuzione delle parole nel testo. Queste rappresentazioni vengono utilizzate in pratica in tutte le applicazioni di NLP ('''NLU''')che abbiano a che fare con il significato del testo. Sono anche un esempio di [[~~representazion~~ learning]] .		(Zhuangzi, Chapter 26)[1]</blockquote>''L’ipotesi distribuzionale'' dice che parole che appaiono in contesti simili hanno significati simili: su quest'ipotesi si basa il campo della '''semantica distribuzionale'''. Gli '''embeddings''' sono la realizzazione di ques'ipotesi: sono delle rappresentazioni delle parole che vengono calcolate partendo dalla distribuzione delle parole nel testo. Queste rappresentazioni vengono utilizzate in pratica in tutte le applicazioni di NLP ('''NLU''')che abbiano a che fare con il significato del testo. Sono anche un esempio di [[representation learning]] .

	Vi sono varie '''relazioni''' che possono esistere tra due parole (si veda capitolo 6 di [1] per una trattazione approfondita):		Vi sono varie '''relazioni''' che possono esistere tra due parole (si veda capitolo 6 di [1] per una trattazione approfondita):

Alesaccoia: /* Bibliografia */

2024-12-02T08:10:34Z

Bibliografia

← Versione meno recente		Versione delle 08:10, 2 dic 2024
Riga 50:		Riga 50:

	[3] [[Efficient Estimation of Word Representations in Vector Space]]		[3] [[Efficient Estimation of Word Representations in Vector Space]]

			https://p.migdal.pl/blog/2017/01/king-man-woman-queen-why

			https://lamyiowce.github.io/word2viz/

Alesaccoia il 07:05, 10 set 2024

2024-09-10T07:05:54Z

← Versione meno recente		Versione delle 07:05, 10 set 2024
Riga 49:		Riga 49:
	[2] [https://www.scirp.org/reference/referencespapers?referenceid=1094128 Osgood et al. - The Measureent Of Meaning]		[2] [https://www.scirp.org/reference/referencespapers?referenceid=1094128 Osgood et al. - The Measureent Of Meaning]

	[3] [~~https://arxiv.org/abs/1301.3781 Mikolov et al - "~~Efficient Estimation of Word Representations in Vector Space"]		[3] [[Efficient Estimation of Word Representations in Vector Space]]

Alesaccoia il 19:45, 16 ago 2024

2024-08-16T19:45:01Z

@@ Riga 4: / Riga 4: @@
 (Zhuangzi, Chapter 26)[1]</blockquote>''L’ipotesi distribuzionale'' dice che parole che appaiono in contesti simili hanno significati simili: su quest'ipotesi si basa il campo della '''semantica distribuzionale'''. Gli '''embeddings''' sono la realizzazione di ques'ipotesi: sono delle rappresentazioni delle parole che vengono calcolate partendo dalla distribuzione delle parole nel testo. Queste rappresentazioni vengono utilizzate in pratica in tutte le applicazioni di NLP ('''NLU''')che abbiano a che fare con il significato del testo. Sono anche un esempio di [[representazion learning]] .
 == Bibliografia ==
 [1] Dan Jurafsky and James H. Martin - '''Speech and Language Processing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition''' - 3rd Edition (2020)

Alesaccoia il 17:57, 16 ago 2024

2024-08-16T17:57:02Z

← Versione meno recente		Versione delle 17:57, 16 ago 2024
Riga 3:		Riga 3:
	'''''Words are for meaning: Once you get the meaning, you can forget the words'''''		'''''Words are for meaning: Once you get the meaning, you can forget the words'''''

	(Zhuangzi), Chapter 26		(Zhuangzi, Chapter 26)[1]</blockquote>''L’ipotesi distribuzionale'' dice che parole che appaiono in contesti simili hanno significati simili: su quest'ipotesi si basa il campo della '''semantica distribuzionale'''. Gli '''embeddings''' sono la realizzazione di ques'ipotesi: sono delle rappresentazioni delle parole che vengono calcolate partendo dalla distribuzione delle parole nel testo. Queste rappresentazioni vengono utilizzate in pratica in tutte le applicazioni di NLP ('''NLU''')che abbiano a che fare con il significato del testo. Sono anche un esempio di [[representazion learning]] .

	(Dan Jurafsky and James H. Martin - Speech and Language Processing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition (2020)~~)</blockquote>~~		== Bibliografia ==
			[1] Dan Jurafsky and James H. Martin - '''Speech and Language Processing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition''' - 3rd Edition (2020)

Alesaccoia: Creata pagina con "
'''''Nets are for fish: Once you get the fish, you can forget the net.''''' '''''Words are for meaning: Once you get the meaning, you can forget the words''''' (Zhuangzi), Chapter 26 (Dan Jurafsky and James H. Martin - Speech and Language Processing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition (2020))
"

2024-08-16T16:28:30Z

Creata pagina con "<blockquote>'''''Nets are for fish: Once you get the fish, you can forget the net.''''' '''''Words are for meaning: Once you get the meaning, you can forget the words''''' (Zhuangzi), Chapter 26 (Dan Jurafsky and James H. Martin - Speech and Language Processing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition (2020))</blockquote>"

Nuova pagina

<blockquote>'''''Nets are for fish: Once you get the fish, you can forget the net.'''''

'''''Words are for meaning: Once you get the meaning, you can forget the words'''''

(Zhuangzi), Chapter 26

(Dan Jurafsky and James H. Martin - Speech and Language Processing An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition (2020))</blockquote>