Versione delle 13:30, 17 ago 2024

Masked-Language-Modeling (MLM)
Nome Inglese	Masked-Language-Modeling
Sigla	MLM

E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato BERT, insieme alla previsione della frase successiva

Consiste nel mascherare alcuni dei token di input (circa il 15%)

query = "Good morning [MASK], have a [MASK] day"
inp = tokenizer(query,return_tensors='tf')
mask_loc = np.where(inp.input_ids.numpy()[0] == 103)[0].tolist()
out = model(inp).logits[0].numpy()
predicted_tokens = np.argmax(out[mask_loc],axis=1).tolist()
tokenizer.decode(predicted_tokens)
#outputs
>>'everybody good'

Links

https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/

https://huggingface.co/docs/transformers/tasks/masked-language-modeling

@@ Riga 22: / Riga 22: @@
 https://huggingface.co/docs/transformers/tasks/masked-language-modeling
+{{#seo:
+            |title=Masked-Language-Modeling
+            |title_mode=append
+            |keywords="Modelli di Linguaggio", "BERT", "NLP", "Intelligenza Artificiale", "Machine Learning", "Previsione del Linguaggio", "Token", "Addestramento", "Modelli Linguistici", "Elaborazione del Linguaggio Naturale"
+            |description="Il Masked-Language-Modeling (MLM) è un obiettivo di addestramento per i modelli di linguaggio. Scopri come funziona e come è stato utilizzato per addestrare BERT. Esempi di codice e link utili per approfondire."
+            }}