Estimating Knowledge in Large Language Models Without Generating a Single Token

Estimating Knowledge in Large Language Models Without Generating a Single Token
Data	2024
Autori	Daniela Gottesman, Mor Geva
URL	https://www.semanticscholar.org/paper/881af971d00621709b4c772750cd3ea9d0fb11fd
Topic	Valutazione della conoscenza nei Large Language Models
Citazioni	7

Questo studio esplora la possibilità di valutare la conoscenza di un Large Language Model (LLM) senza generare testo. Propone KEEN, una sonda che analizza le rappresentazioni interne del modello per prevedere la sua capacità di rispondere a domande su una determinata entità e la fattualità delle sue risposte. Gli esperimenti dimostrano che KEEN correla con l'accuratezza delle risposte e con FActScore, una metrica di fattualità. KEEN, inoltre, si allinea con l'atteggiamento di hedging del modello e riflette i cambiamenti nella sua conoscenza dopo il fine-tuning. Infine, viene presentata una variante più interpretabile di KEEN, che evidenzia token indicativi di cluster e lacune nella conoscenza del modello.