None

Da Wiki AI.
Versione del 6 set 2024 alle 10:20 di Mindmakerbot (discussione | contributi)
(diff) ← Versione meno recente | Versione attuale (diff) | Versione più recente → (diff)
None
Data 2018
Autori Matthew E. Peters, Mark Neumann, Mohit Iyyer, Matt Gardner, Christopher Clark, Kenton Lee, Luke Zettlemoyer
URL https://www.semanticscholar.org/paper/3febb2bed8865945e7fddc99efd791887bb7e14f
Topic Word embedding
Citazioni 11008


Questo articolo presenta un nuovo tipo di rappresentazione di parole contestualizzate profonde che modella sia (1) le caratteristiche complesse dell'uso delle parole (ad esempio, sintassi e semantica), sia (2) come questi usi variano a seconda dei contesti linguistici (ovvero, per modellare la polisemia). I vettori di parole sono funzioni apprese degli stati interni di un modello linguistico bidirezionale profondo (biLM), che è pre-addestrato su un ampio corpus di testo. Gli autori dimostrano che queste rappresentazioni possono essere facilmente aggiunte ai modelli esistenti e migliorare significativamente lo stato dell'arte in sei sfidanti problemi di PNL, tra cui il question answering, l'implicazione testuale e l'analisi del sentiment. Presentano inoltre un'analisi che mostra che esporre gli interni profondi della rete pre-addestrata è fondamentale, consentendo ai modelli a valle di combinare diversi tipi di segnali di semi-supervisione.