Mean Reciprocal Rank: differenze tra le versioni

Versione delle 16:23, 10 dic 2024

La Classificazione Media Reciproca (Mean Reciprocal Rank o MRR) è una misura statistica utilizzata nella valutazione dei sistemi di recupero delle informazioni e dei motori di ricerca. Calcola il reciproco del rango della prima risposta corretta, mediato su tutte le query.

Formula

La formula del MRR è:

$MRR={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{rank_{i}}}$

Dove:

|Q| è il numero totale di query
rank_i è la posizione della prima risposta corretta per la query i-esima

Esempio

Se per tre query diverse, la prima risposta corretta appare rispettivamente in posizione 1, 2 e 4, il MRR sarà:

$MRR={\frac {1}{3}}(1+{\frac {1}{2}}+{\frac {1}{4}})=0.583$

Ecco il testo corretto in sintassi MediaWiki: Copy= Classificazione Media Reciproca (Mean Reciprocal Rank) =

La Classificazione Media Reciproca (Mean Reciprocal Rank o MRR) è una misura statistica utilizzata nella valutazione dei sistemi di recupero delle informazioni e dei motori di ricerca. Calcola il reciproco del rango della prima risposta corretta, mediato su tutte le query.

Formula

La formula del MRR è:

$MRR={\frac {1}{|Q|}}\sum _{i=1}^{|Q|}{\frac {1}{rank_{i}}}$

Dove:

|Q| è il numero totale di query
rank_i è la posizione della prima risposta corretta per la query i-esima

Calcolo pratico

Dataset e preparazione

Si parte da un dataset contenente coppie di query e documenti rilevanti (ground truth). Questo dataset serve come riferimento per valutare l'accuratezza del sistema.

Processo di calcolo

Per ogni query nel dataset di test:
- Si utilizzano i modelli di embedding per recuperare i k documenti più rilevanti
- Si identifica la posizione (rank) del primo documento corretto nella lista dei risultati
- Si calcola il reciproco di questa posizione (1/rank)
- Se il documento corretto non appare tra i primi k risultati, si assegna un punteggio di 0

Interpretazione

Un MRR di 1.0 indica performance perfette (documento corretto sempre in prima posizione)
Valori più vicini a 1.0 indicano migliore performance del sistema
Il punteggio tiene conto solo della prima risposta corretta per ogni query

Esempio pratico

Consideriamo tre query di test:

Query	Posizione documento corretto	Reciproco
Query 1	1	1/1 = 1,0
Query 2	2	1/2 = 0,5
Query 3	4	1/4 = 0,25

MRR finale = (1,0 + 0,5 + 0,25) ÷ 3 = 0,583

@@ Riga 14: / Riga 14: @@
 <math>MRR = \frac{1}{3} (1 + \frac{1}{2} + \frac{1}{4}) = 0.583</math>
+Ecco il testo corretto in sintassi MediaWiki:
+Copy= Classificazione Media Reciproca (Mean Reciprocal Rank) =
+La Classificazione Media Reciproca (Mean Reciprocal Rank o MRR) è una misura statistica utilizzata nella valutazione dei sistemi di recupero delle informazioni e dei motori di ricerca. Calcola il reciproco del rango della prima risposta corretta, mediato su tutte le query.
+== Formula ==
+La formula del MRR è:
+<math>MRR = \frac{1}{|Q|} \sum_{i=1}^{|Q|} \frac{1}{rank_i}</math>
+Dove:
+* |Q| è il numero totale di query
+* rank<sub>i</sub> è la posizione della prima risposta corretta per la query i-esima
+== Calcolo pratico ==
+=== Dataset e preparazione ===
+Si parte da un dataset contenente coppie di query e documenti rilevanti (ground truth). Questo dataset serve come riferimento per valutare l'accuratezza del sistema.
+=== Processo di calcolo ===
+# Per ogni query nel dataset di test:
+#* Si utilizzano i modelli di embedding per recuperare i k documenti più rilevanti
+#* Si identifica la posizione (rank) del primo documento corretto nella lista dei risultati
+#* Si calcola il reciproco di questa posizione (1/rank)
+#* Se il documento corretto non appare tra i primi k risultati, si assegna un punteggio di 0
+=== Interpretazione ===
+* Un MRR di 1.0 indica performance perfette (documento corretto sempre in prima posizione)
+* Valori più vicini a 1.0 indicano migliore performance del sistema
+* Il punteggio tiene conto solo della prima risposta corretta per ogni query
+=== Esempio pratico ===
+Consideriamo tre query di test:
+{| class="wikitable"
+! Query !! Posizione documento corretto !! Reciproco
+|-
+| Query 1 || 1 || 1/1 = 1,0
+|-
+| Query 2 || 2 || 1/2 = 0,5
+|-
+| Query 3 || 4 || 1/4 = 0,25
+|}
+MRR finale = (1,0 + 0,5 + 0,25) ÷ 3 = 0,583
 [[Categoria:Concetto]]
 [[Categoria:Metrica]]