Crawling the Internal Knowledge-Base of Language Models

Crawling the Internal Knowledge-Base of Language Models
Data	2022
Autori	Roi Cohen, Mor Geva, Jonathan Berant, A. Globerson
URL	https://www.semanticscholar.org/paper/47a541269d4ef70f37f0d3a57483312c4c6c2ad5
Topic	Modelli Linguistici
Citazioni	64

Questo articolo esplora l'idea che i modelli linguistici, addestrati su enormi quantità di testo, memorizzino una grande quantità di conoscenza fattuale. Propone un metodo per estrarre questa conoscenza sotto forma di grafo di conoscenza, "navigando" nella base di conoscenza interna del modello. A partire da un'entità iniziale, il processo espande il grafo, controllando la precisione e la quantità di fatti generati. La valutazione mostra un'alta precisione (82-92%) nell'estrazione dei fatti.

Molto interessante la metodologia di estrazione del grafo di conoscenza!