Crawling the Internal Knowledge-Base of Language Models
Crawling the Internal Knowledge-Base of Language Models | |
---|---|
Data | 2022 |
Autori | Roi Cohen, Mor Geva, Jonathan Berant, A. Globerson |
URL | https://www.semanticscholar.org/paper/47a541269d4ef70f37f0d3a57483312c4c6c2ad5 |
Topic | Modelli Linguistici |
Citazioni | 64 |
Questo articolo esplora l'idea che i modelli linguistici, addestrati su enormi quantità di testo, memorizzino una grande quantità di conoscenza fattuale. Propone un metodo per estrarre questa conoscenza sotto forma di grafo di conoscenza, "navigando" nella base di conoscenza interna del modello. A partire da un'entità iniziale, il processo espande il grafo, controllando la precisione e la quantità di fatti generati. La valutazione mostra un'alta precisione (82-92%) nell'estrazione dei fatti.
Molto interessante la metodologia di estrazione del grafo di conoscenza!