None

None
Data	2018
Autori	Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer
URL	https://www.semanticscholar.org/paper/3febb2bed8865945e7fddc99efd791887bb7e14f
Topic	Word embedding
Citazioni	11008

Questo articolo presenta un nuovo tipo di rappresentazione di parole contestualizzate profonde che modella sia (1) le caratteristiche complesse dell'uso delle parole (ad esempio, sintassi e semantica), sia (2) come questi usi variano a seconda dei contesti linguistici (ovvero, per modellare la polisemia). I vettori di parole sono funzioni apprese degli stati interni di un modello linguistico bidirezionale profondo (biLM), che è pre-addestrato su un ampio corpus di testo. Gli autori dimostrano che queste rappresentazioni possono essere facilmente aggiunte ai modelli esistenti e migliorare significativamente lo stato dell'arte in sei sfidanti problemi di PNL, tra cui il question answering, l'implicazione testuale e l'analisi del sentiment. Presentano inoltre un'analisi che mostra che esporre gli interni profondi della rete pre-addestrata è fondamentale, consentendo ai modelli a valle di combinare diversi tipi di segnali di semi-supervisione.