Masked-Language-Modeling (MLM): differenze tra le versioni
(Creata pagina con "E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. Consiste nel mascherare alcuni dei token di input (circa il 15%) <source lang="python"> query = "Good morning [MASK], have a [MASK] day" inp = tokenizer(query,return_tensors='tf') mask_loc = np.where(inp.input_ids.numpy()[0] == 103)[0].tolist() out = model(inp).logits[0].numpy() predicted_tokens = np.argmax(out[mask_loc],axis=1).tolist() tokenizer.decode(predicted_tokens) #outputs...") |
Nessun oggetto della modifica |
||
| Riga 1: | Riga 1: | ||
E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. | E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato [[BERT]], insieme alla previsione della frase successiva | ||
Consiste nel mascherare alcuni dei token di input (circa il 15%) | Consiste nel mascherare alcuni dei token di input (circa il 15%) | ||
| Riga 13: | Riga 14: | ||
</source> | </source> | ||
= Links = | |||
https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/ | |||
https://huggingface.co/docs/transformers/tasks/masked_language_modeling | |||
[[Category:concetto]] | [[Category:concetto]] | ||
[[Category:Linguaggio Naturale]] | [[Category:Linguaggio Naturale]] | ||
Versione delle 16:20, 18 mar 2024
E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. E' uno dei due obiettivi con cui è stato addestrato BERT, insieme alla previsione della frase successiva
Consiste nel mascherare alcuni dei token di input (circa il 15%)
query = "Good morning [MASK], have a [MASK] day" inp = tokenizer(query,return_tensors='tf') mask_loc = np.where(inp.input_ids.numpy()[0] == 103)[0].tolist() out = model(inp).logits[0].numpy() predicted_tokens = np.argmax(out[mask_loc],axis=1).tolist() tokenizer.decode(predicted_tokens) #outputs >>'everybody good'
Links
https://www.analyticsvidhya.com/blog/2022/09/fine-tuning-bert-with-masked-language-modeling/ https://huggingface.co/docs/transformers/tasks/masked_language_modeling