Masked-Language-Modeling (MLM): differenze tra le versioni
Nessun oggetto della modifica |
Nessun oggetto della modifica |
||
| (4 versioni intermedie di 2 utenti non mostrate) | |||
| Riga 1: | Riga 1: | ||
{{Template concetto | |||
|NomeInglese=Masked-Language-Modeling | |||
|Sigla=MLM | |||
}} | |||
Sigla | E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva ([[Next Sentence Prediction (NSP)]]). | ||
E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva | |||
Consiste nel mascherare alcuni dei token di input (circa il 15%) | Consiste nel mascherare alcuni dei token di input (circa il 15%) | ||
| Riga 25: | Riga 21: | ||
https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/ | https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/ | ||
https://huggingface.co/docs/transformers/tasks/ | https://huggingface.co/docs/transformers/tasks/masked-language-modeling | ||
{{#seo: | |||
|title=Masked-Language-Modeling | |||
|title_mode=append | |||
|keywords=Modelli di Linguaggio, "BERT", "NLP", "Intelligenza Artificiale", "Machine Learning", "Previsione del Linguaggio", "Token", "Addestramento", "Modelli Linguistici", "Elaborazione del Linguaggio Naturale" | |||
|description=Il Masked-Language-Modeling (MLM) è un obiettivo di addestramento per i modelli di linguaggio. Scopri come funziona e come è stato utilizzato per addestrare BERT. Esempi di codice e link utili per approfondire. | |||
}} | |||
Versione attuale delle 19:18, 6 set 2024
| Masked-Language-Modeling (MLM) | |
|---|---|
| Nome Inglese | Masked-Language-Modeling |
| Sigla | MLM |
E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato BERT, insieme alla previsione della frase successiva (Next Sentence Prediction (NSP)).
Consiste nel mascherare alcuni dei token di input (circa il 15%)
query = "Good morning [MASK], have a [MASK] day" inp = tokenizer(query,return_tensors='tf') mask_loc = np.where(inp.input_ids.numpy()[0] == 103)[0].tolist() out = model(inp).logits[0].numpy() predicted_tokens = np.argmax(out[mask_loc],axis=1).tolist() tokenizer.decode(predicted_tokens) #outputs >>'everybody good'
Links
https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/
https://huggingface.co/docs/transformers/tasks/masked-language-modeling