Causal Language Modeling (CLM)

Da Wiki AI.
Causal Language Modeling (CLM)
Nome Inglese Causal Language Modeling
Sigla CLM

Il task di predizione della prossima parola nella frase, date le parole precedenti: è quindi unidirezionale.

E' uno dei possibili obiettivi di pre-training di language modeling insieme al Masked-Language-Modeling (MLM): è utilizzato per esempio in GPT e in genere in tutti i modelli di linguaggio sviluppati per la generazione del testo.

Links

https://huggingface.co/docs/transformers/en/tasks/language_modeling