Estimating Knowledge in Large Language Models Without Generating a Single Token

Da Wiki AI.
Estimating Knowledge in Large Language Models Without Generating a Single Token
Data 2024
Autori Daniela Gottesman, Mor Geva
URL https://www.semanticscholar.org/paper/881af971d00621709b4c772750cd3ea9d0fb11fd
Topic Valutazione della conoscenza nei Large Language Models
Citazioni 7


Questo studio esplora la possibilità di valutare la conoscenza di un Large Language Model (LLM) senza generare testo. Propone KEEN, una sonda che analizza le rappresentazioni interne del modello per prevedere la sua capacità di rispondere a domande su una determinata entità e la fattualità delle sue risposte. Gli esperimenti dimostrano che KEEN correla con l'accuratezza delle risposte e con FActScore, una metrica di fattualità. KEEN, inoltre, si allinea con l'atteggiamento di hedging del modello e riflette i cambiamenti nella sua conoscenza dopo il fine-tuning. Infine, viene presentata una variante più interpretabile di KEEN, che evidenzia token indicativi di cluster e lacune nella conoscenza del modello.