Masked-Language-Modeling (MLM)

E' uno dei possibili obiettivi nell'ambito dell'addestramento dei Modelli di Linguaggio. Consiste nel mascherare alcuni dei token di input (circa il 15%)

query = "Good morning [MASK], have a [MASK] day"
inp = tokenizer(query,return_tensors='tf')
mask_loc = np.where(inp.input_ids.numpy()[0] == 103)[0].tolist()
out = model(inp).logits[0].numpy()
predicted_tokens = np.argmax(out[mask_loc],axis=1).tolist()
tokenizer.decode(predicted_tokens)
#outputs
>>'everybody good'