Mean Reciprocal Rank: differenze tra le versioni

Versione delle 16:26, 10 dic 2024

La Classificazione Media Reciproca (Mean Reciprocal Rank o MRR) è una misura statistica utilizzata nella valutazione dei sistemi di recupero delle informazioni e dei motori di ricerca. Calcola il reciproco del rango della prima risposta corretta, mediato su tutte le query.

Formula

La formula del MRR è:

$MRR={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{rank_{i}}}$

Dove:

|Q| è il numero totale di query
rank_i è la posizione della prima risposta corretta per la query i-esima

Esempio

Se per tre query diverse, la prima risposta corretta appare rispettivamente in posizione 1, 2 e 4:

Query	Posizione documento corretto	Reciproco
Query 1	1	1/1 = 1,0
Query 2	2	1/2 = 0,5
Query 3	4	1/4 = 0,25

il MRR sarà:

$MRR={\frac {1}{3}}(1+{\frac {1}{2}}+{\frac {1}{4}})=0.583$

Benchmarking dei modelli di embedding

Dataset e preparazione

Si parte da un dataset contenente coppie di query e documenti rilevanti (ground truth). Questo dataset serve come riferimento per valutare l'accuratezza del sistema.

Processo di calcolo

Per ogni query nel dataset di test:
- Si utilizzano i modelli di embedding per recuperare i k documenti più rilevanti
- Si identifica la posizione (rank) del primo documento corretto nella lista dei risultati
- Si calcola il reciproco di questa posizione (1/rank)
- Se il documento corretto non appare tra i primi k risultati, si assegna un punteggio di 0

Interpretazione

Un MRR di 1.0 indica performance perfette (documento corretto sempre in prima posizione)
Valori più vicini a 1.0 indicano migliore performance del sistema
Il punteggio tiene conto solo della prima risposta corretta per ogni query

@@ Riga 11: / Riga 11: @@
 == Esempio ==
-Se per tre query diverse, la prima risposta corretta appare rispettivamente in posizione 1, 2 e 4, il MRR sarà:
+Se per tre query diverse, la prima risposta corretta appare rispettivamente in posizione 1, 2 e 4:
+{| class="wikitable"
+! Query !! Posizione documento corretto !! Reciproco
+|-
+| Query 1 || 1 || 1/1 = 1,0
+|-
+| Query 2 || 2 || 1/2 = 0,5
+|-
+| Query 3 || 4 || 1/4 = 0,25
+|}
+il MRR sarà:
 <math>MRR = \frac{1}{3} (1 + \frac{1}{2} + \frac{1}{4}) = 0.583</math>
-Ecco il testo corretto in sintassi MediaWiki:
+== Benchmarking dei modelli di [[Embeddings|embedding]] ==
-Copy= Classificazione Media Reciproca (Mean Reciprocal Rank) =
-La Classificazione Media Reciproca (Mean Reciprocal Rank o MRR) è una misura statistica utilizzata nella valutazione dei sistemi di recupero delle informazioni e dei motori di ricerca. Calcola il reciproco del rango della prima risposta corretta, mediato su tutte le query.
-== Formula ==
-La formula del MRR è:
-<math>MRR = \frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{rank_i}</math>
-Dove:
-* |Q| è il numero totale di query
-* rank<sub>i</sub> è la posizione della prima risposta corretta per la query i-esima
-== Calcolo pratico ==
 === Dataset e preparazione ===
@@ Riga 45: / Riga 42: @@
 * Valori più vicini a 1.0 indicano migliore performance del sistema
 * Il punteggio tiene conto solo della prima risposta corretta per ogni query
-=== Esempio pratico ===
-Consideriamo tre query di test:
-{| class="wikitable"
-! Query !! Posizione documento corretto !! Reciproco
-|-
-| Query 1 || 1 || 1/1 = 1,0
-|-
-| Query 2 || 2 || 1/2 = 0,5
-|-
-| Query 3 || 4 || 1/4 = 0,25
-|}
-MRR finale = (1,0 + 0,5 + 0,25) ÷ 3 = 0,583
 [[Categoria:Concetto]]
 [[Categoria:Metrica]]