Deep Contextualized Word Representations

Da Wiki AI.
Deep Contextualized Word Representations
Data 2018
Autori Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer
URL https://www.semanticscholar.org/paper/3febb2bed8865945e7fddc99efd791887bb7e14f
Topic Word embedding
Citazioni 11008


Questo articolo introduce un nuovo tipo di rappresentazione delle parole contestualizzata e profonda, denominata ELMo (Embeddings from Language Models), che modella sia le caratteristiche complesse dell'uso delle parole (ad esempio, sintassi e semantica) sia il modo in cui questi usi variano a seconda del contesto linguistico (ad esempio, per modellare la polisemia). I vettori di parole sono funzioni apprese dagli stati interni di un modello linguistico bidirezionale profondo (biLM), pre-addestrato su un ampio corpus di testo.

ELMo può essere facilmente integrato in modelli esistenti e migliorare significativamente lo stato dell'arte in sei diversi compiti NLP, tra cui la risposta alle domande, l'implicazione testuale e l'analisi del sentiment.