Estimating Knowledge in Large Language Models Without Generating a Single Token
Estimating Knowledge in Large Language Models Without Generating a Single Token | |
---|---|
Data | 2024 |
Autori | Daniela Gottesman, Mor Geva |
URL | https://www.semanticscholar.org/paper/881af971d00621709b4c772750cd3ea9d0fb11fd |
Topic | Valutazione della conoscenza nei Large Language Models |
Citazioni | 7 |
Questo studio esplora la possibilità di valutare la conoscenza di un Large Language Model (LLM) senza generare testo. Propone KEEN, una sonda che analizza le rappresentazioni interne del modello per prevedere la sua capacità di rispondere a domande su una determinata entità e la fattualità delle sue risposte. Gli esperimenti dimostrano che KEEN correla con l'accuratezza delle risposte e con FActScore, una metrica di fattualità. KEEN, inoltre, si allinea con l'atteggiamento di hedging del modello e riflette i cambiamenti nella sua conoscenza dopo il fine-tuning. Infine, viene presentata una variante più interpretabile di KEEN, che evidenzia token indicativi di cluster e lacune nella conoscenza del modello.