Deep Contextualized Word Representations
| Deep Contextualized Word Representations | |
|---|---|
| Data | 2018 |
| Autori | Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer |
| URL | https://www.semanticscholar.org/paper/3febb2bed8865945e7fddc99efd791887bb7e14f |
| Topic | Word embedding |
| Citazioni | 11008 |
Questo articolo introduce un nuovo tipo di rappresentazione delle parole contestualizzata e profonda, denominata ELMo (Embeddings from Language Models), che modella sia le caratteristiche complesse dell'uso delle parole (ad esempio, sintassi e semantica) sia il modo in cui questi usi variano a seconda del contesto linguistico (ad esempio, per modellare la polisemia). I vettori di parole sono funzioni apprese dagli stati interni di un modello linguistico bidirezionale profondo (biLM), pre-addestrato su un ampio corpus di testo.
ELMo può essere facilmente integrato in modelli esistenti e migliorare significativamente lo stato dell'arte in sei diversi compiti NLP, tra cui la risposta alle domande, l'implicazione testuale e l'analisi del sentiment.