Mean Reciprocal Rank

La Classificazione Media Reciproca (Mean Reciprocal Rank o MRR) è una misura statistica utilizzata nella valutazione dei sistemi di recupero delle informazioni e dei motori di ricerca. Calcola il reciproco del rango della prima risposta corretta, mediato su tutte le query.

Formula

La formula del MRR è:

$MRR={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{rank_{i}}}$

Dove:

|Q| è il numero totale di query
rank_i è la posizione della prima risposta corretta per la query i-esima

Esempio

Se per tre query diverse, la prima risposta corretta appare rispettivamente in posizione 1, 2 e 4, il MRR sarà:

$MRR={\frac {1}{3}}(1+{\frac {1}{2}}+{\frac {1}{4}})=0.583$

Ecco il testo corretto in sintassi MediaWiki: Copy= Classificazione Media Reciproca (Mean Reciprocal Rank) =

La Classificazione Media Reciproca (Mean Reciprocal Rank o MRR) è una misura statistica utilizzata nella valutazione dei sistemi di recupero delle informazioni e dei motori di ricerca. Calcola il reciproco del rango della prima risposta corretta, mediato su tutte le query.

Formula

La formula del MRR è:

$MRR={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{rank_{i}}}$

Dove:

|Q| è il numero totale di query
rank_i è la posizione della prima risposta corretta per la query i-esima

Calcolo pratico

Dataset e preparazione

Si parte da un dataset contenente coppie di query e documenti rilevanti (ground truth). Questo dataset serve come riferimento per valutare l'accuratezza del sistema.

Processo di calcolo

Per ogni query nel dataset di test:
- Si utilizzano i modelli di embedding per recuperare i k documenti più rilevanti
- Si identifica la posizione (rank) del primo documento corretto nella lista dei risultati
- Si calcola il reciproco di questa posizione (1/rank)
- Se il documento corretto non appare tra i primi k risultati, si assegna un punteggio di 0

Interpretazione

Un MRR di 1.0 indica performance perfette (documento corretto sempre in prima posizione)
Valori più vicini a 1.0 indicano migliore performance del sistema
Il punteggio tiene conto solo della prima risposta corretta per ogni query

Esempio pratico

Consideriamo tre query di test:

Query	Posizione documento corretto	Reciproco
Query 1	1	1/1 = 1,0
Query 2	2	1/2 = 0,5
Query 3	4	1/4 = 0,25

MRR finale = (1,0 + 0,5 + 0,25) ÷ 3 = 0,583