Mean Reciprocal Rank

La Classificazione Media Reciproca (Mean Reciprocal Rank o MRR) è una misura statistica utilizzata nella valutazione dei sistemi di recupero delle informazioni e dei motori di ricerca. Calcola il reciproco del rango della prima risposta corretta, mediato su tutte le query.

Formula

La formula del MRR è:

$MRR={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{rank_{i}}}$

Dove:

• |Q| è il numero totale di query
• rank_i è la posizione della prima risposta corretta per la query i-esima

Esempio

Se per tre query diverse, la prima risposta corretta appare rispettivamente in posizione 1, 2 e 4:

Query	Posizione documento corretto	Reciproco
Query 1	1	1/1 = 1,0
Query 2	2	1/2 = 0,5
Query 3	4	1/4 = 0,25

il MRR sarà:

$MRR={\frac {1}{3}}(1+{\frac {1}{2}}+{\frac {1}{4}})=0.583$

Benchmarking dei modelli di embedding

Dataset e preparazione

Si parte da un dataset contenente coppie di query e documenti rilevanti (ground truth). Questo dataset serve come riferimento per valutare l'accuratezza del sistema.

Processo di calcolo

1. Per ogni query nel dataset di test:
   • Si utilizzano i modelli di embedding per recuperare i k documenti più rilevanti
   • Si identifica la posizione (rank) del primo documento corretto nella lista dei risultati
   • Si calcola il reciproco di questa posizione (1/rank)
   • Se il documento corretto non appare tra i primi k risultati, si assegna un punteggio di 0

Interpretazione

• Un MRR di 1.0 indica performance perfette (documento corretto sempre in prima posizione)
• Valori più vicini a 1.0 indicano migliore performance del sistema
• Il punteggio tiene conto solo della prima risposta corretta per ogni query