Masked-Language-Modeling (MLM) - Cronologia

Alesaccoia il 19:18, 6 set 2024

2024-09-06T19:18:32Z

← Versione meno recente		Versione delle 19:18, 6 set 2024
Riga 3:		Riga 3:
	\|Sigla=MLM		\|Sigla=MLM
	}}		}}
	E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva		E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva ([[Next Sentence Prediction (NSP)]]).

	Consiste nel mascherare alcuni dei token di input (circa il 15%)		Consiste nel mascherare alcuni dei token di input (circa il 15%)

Mindmakerbot il 13:47, 17 ago 2024

2024-08-17T13:47:00Z

← Versione meno recente		Versione delle 13:47, 17 ago 2024
Riga 26:		Riga 26:
	\|title=Masked-Language-Modeling		\|title=Masked-Language-Modeling
	\|title_mode=append		\|title_mode=append
	\|keywords="Modelli di Linguaggio", "BERT", "NLP", "Intelligenza Artificiale", "Machine Learning", "Previsione del Linguaggio", "Token", "Addestramento", "Modelli Linguistici", "Elaborazione del Linguaggio Naturale"		\|keywords=Modelli di Linguaggio, "BERT", "NLP", "Intelligenza Artificiale", "Machine Learning", "Previsione del Linguaggio", "Token", "Addestramento", "Modelli Linguistici", "Elaborazione del Linguaggio Naturale"
	\|description="Il Masked-Language-Modeling (MLM) è un obiettivo di addestramento per i modelli di linguaggio. Scopri come funziona e come è stato utilizzato per addestrare BERT. Esempi di codice e link utili per approfondire."		\|description=Il Masked-Language-Modeling (MLM) è un obiettivo di addestramento per i modelli di linguaggio. Scopri come funziona e come è stato utilizzato per addestrare BERT. Esempi di codice e link utili per approfondire.

	}}		}}

Mindmakerbot il 13:30, 17 ago 2024

2024-08-17T13:30:04Z

← Versione meno recente		Versione delle 13:30, 17 ago 2024
Riga 22:		Riga 22:

	https://huggingface.co/docs/transformers/tasks/masked-language-modeling		https://huggingface.co/docs/transformers/tasks/masked-language-modeling

			{{#seo:
			\|title=Masked-Language-Modeling
			\|title_mode=append
			\|keywords="Modelli di Linguaggio", "BERT", "NLP", "Intelligenza Artificiale", "Machine Learning", "Previsione del Linguaggio", "Token", "Addestramento", "Modelli Linguistici", "Elaborazione del Linguaggio Naturale"
			\|description="Il Masked-Language-Modeling (MLM) è un obiettivo di addestramento per i modelli di linguaggio. Scopri come funziona e come è stato utilizzato per addestrare BERT. Esempi di codice e link utili per approfondire."

			}}

Mindmakerbot il 11:18, 17 ago 2024

2024-08-17T11:18:49Z

← Versione meno recente		Versione delle 11:18, 17 ago 2024
Riga 21:		Riga 21:
	https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/		https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/

	https://huggingface.co/docs/transformers/tasks/~~masked_language_modeling~~		https://huggingface.co/docs/transformers/tasks/masked-language-modeling

	~~[[Category:concetto]]~~
	~~[[Category:Linguaggio Naturale]]~~

Alesaccoia il 16:28, 27 mag 2024

2024-05-27T16:28:05Z

← Versione meno recente		Versione delle 16:28, 27 mag 2024
Riga 1:		Riga 1:
	~~Nome: [[Nome::Modelli Linguistici Mascherati]]~~		{{Template concetto
			\|NomeInglese=Masked-Language-Modeling
	~~Nome inglese: [[~~NomeInglese::Masked-Language-Modeling]]		\|Sigla=MLM
			}}
	Sigla~~: [[Sigla::~~MLM]]



	E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva		E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva

Riga 29:		Riga 25:
	[[Category:concetto]]		[[Category:concetto]]
	[[Category:Linguaggio Naturale]]		[[Category:Linguaggio Naturale]]

	~~__SHOWFACTBOX__~~

Sara Maserati il 10:49, 11 apr 2024

2024-04-11T10:49:55Z

@@ Riga 1: / Riga 1: @@
 E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva
@@ Riga 21: / Riga 29: @@
 [[Category:concetto]]
 [[Category:Linguaggio Naturale]]

Alesaccoia: /* Links */

2024-03-18T16:20:32Z

Links

← Versione meno recente		Versione delle 16:20, 18 mar 2024
Riga 16:		Riga 16:
	= Links =		= Links =
	https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/		https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/

	https://huggingface.co/docs/transformers/tasks/masked_language_modeling		https://huggingface.co/docs/transformers/tasks/masked_language_modeling

	[[Category:concetto]]		[[Category:concetto]]
	[[Category:Linguaggio Naturale]]		[[Category:Linguaggio Naturale]]

Alesaccoia il 16:20, 18 mar 2024

2024-03-18T16:20:14Z

← Versione meno recente		Versione delle 16:20, 18 mar 2024
Riga 1:		Riga 1:
	E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio.		E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva

	Consiste nel mascherare alcuni dei token di input (circa il 15%)		Consiste nel mascherare alcuni dei token di input (circa il 15%)

Riga 13:		Riga 14:
	</source>		</source>

			= Links =
			https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/
			https://huggingface.co/docs/transformers/tasks/masked_language_modeling

	[[Category:concetto]]		[[Category:concetto]]
	[[Category:Linguaggio Naturale]]		[[Category:Linguaggio Naturale]]

Alesaccoia: Creata pagina con "E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. Consiste nel mascherare alcuni dei token di input (circa il 15%) query = "Good morning [MASK], have a [MASK] day" inp = tokenizer(query,return_tensors='tf') mask_loc = np.where(inp.input_ids.numpy()[0] == 103)[0].tolist() out = model(inp).logits[0].numpy() predicted_tokens = np.argmax(out[mask_loc],axis=1).tolist() tokenizer.decode(predicted_tokens) #outputs..."

2024-03-18T16:19:08Z

Creata pagina con "E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. Consiste nel mascherare alcuni dei token di input (circa il 15%) <source lang="python"> query = "Good morning [MASK], have a [MASK] day" inp = tokenizer(query,return_tensors='tf') mask_loc = np.where(inp.input_ids.numpy()[0] == 103)[0].tolist() out = model(inp).logits[0].numpy() predicted_tokens = np.argmax(out[mask_loc],axis=1).tolist() tokenizer.decode(predicted_tokens) #outputs..."

Nuova pagina

E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio.
Consiste nel mascherare alcuni dei token di input (circa il 15%)

<source lang="python">
query = "Good morning [MASK], have a [MASK] day"
inp = tokenizer(query,return_tensors='tf')
mask_loc = np.where(inp.input_ids.numpy()[0] == 103)[0].tolist()
out = model(inp).logits[0].numpy()
predicted_tokens = np.argmax(out[mask_loc],axis=1).tolist()
tokenizer.decode(predicted_tokens)
#outputs
>>'everybody good'
</source>

[[Category:concetto]]
[[Category:Linguaggio Naturale]]