Contriever - Cronologia

Alesaccoia il 17:46, 25 nov 2024

2024-11-25T17:46:05Z

← Versione meno recente		Versione delle 17:46, 25 nov 2024
Riga 17:		Riga 17:
	L'addestramento di Contriever si articola in diverse fasi chiave:		L'addestramento di Contriever si articola in diverse fasi chiave:

	'''Creazione delle coppie''': Da ogni documento vengono estratti due frammenti casuali di testo (crops) che fungono da coppia positiva. Questi frammenti possono avere lunghezze variabili, tipicamente tra il 10% e il 50% del testo originale.		* '''Creazione delle coppie''': Da ogni documento vengono estratti due frammenti casuali di testo (crops) che fungono da coppia positiva. Questi frammenti possono avere lunghezze variabili, tipicamente tra il 10% e il 50% del testo originale.
	'''Codifica dei testi''': I frammenti vengono processati attraverso un encoder basato su BERT che produce rappresentazioni vettoriali dense. Il modello utilizza due encoder: uno per le query e uno per i documenti (nel caso dell'architettura MoCo).		* '''Codifica dei testi''': I frammenti vengono processati attraverso un encoder basato su BERT che produce rappresentazioni vettoriali dense. Il modello utilizza due encoder: uno per le query e uno per i documenti (nel caso dell'architettura MoCo).
	'''Apprendimento contrastivo''': Il modello impara confrontando le rappresentazioni delle coppie positive con quelle negative, utilizzando una funzione di perdita che massimizza la similarità tra frammenti dello stesso documento e minimizza quella tra frammenti di documenti diversi.		* '''Apprendimento contrastivo''': Il modello impara confrontando le rappresentazioni delle coppie positive con quelle negative, utilizzando una funzione di perdita che massimizza la similarità tra frammenti dello stesso documento e minimizza quella tra frammenti di documenti diversi.


Riga 31:		Riga 31:

	Esempio di processo:		Esempio di processo:

	"La Torre Eiffel è stata costruita nel 1889" → [0.2, -0.3, 0.1, ..., 0.4] (vettore 768-dimensionale)		"La Torre Eiffel è stata costruita nel 1889" → [0.2, -0.3, 0.1, ..., 0.4] (vettore 768-dimensionale)

	'''4. Calcolo della similarità'''		'''4. Calcolo della similarità'''

	La similarità tra query e documento viene calcolata usando la similarità del coseno:		La similarità tra query e documento viene calcolata usando la similarità del coseno:

	<math>		<math>
	sim(q,d) = \frac{q \cdot d}{\|\|q\|\| \|\|d\|\|}		sim(q,d) = \frac{q \cdot d}{\|\|q\|\| \|\|d\|\|}
Riga 41:		Riga 44:
	'''5. Funzione di perdita'''		'''5. Funzione di perdita'''
	Durante l'addestramento, Contriever ottimizza la funzione InfoNCE:		Durante l'addestramento, Contriever ottimizza la funzione InfoNCE:

	<math>		<math>
	\mathcal{L} = -\log\frac{\exp(sim(q,d^+)/\tau)}{\exp(sim(q,d^+)/\tau) + \sum\exp(sim(q,d^-)/\tau)}		\mathcal{L} = -\log\frac{\exp(sim(q,d^+)/\tau)}{\exp(sim(q,d^+)/\tau) + \sum\exp(sim(q,d^-)/\tau)}

Alesaccoia il 17:45, 25 nov 2024

2024-11-25T17:45:25Z

← Versione meno recente		Versione delle 17:45, 25 nov 2024
Riga 15:		Riga 15:
	'''2. Processo di addestramento'''		'''2. Processo di addestramento'''

	~~Durante l~~'addestramento, Contriever ~~opera su batch~~ di ~~testi~~ (tipicamente ~~1024 o più passaggi) nel seguente modo~~:		L'addestramento di Contriever si articola in diverse fasi chiave:
	* Prende un ~~passaggio di testo originale~~: ~~"La Torre Eiffel è stata costruita~~ nel ~~1889"~~
	* Crea una variante sintetica come query: "Quando è stata costruita la Torre Eiffel?"		'''Creazione delle coppie''': Da ogni documento vengono estratti due frammenti casuali di testo (crops) che fungono da coppia positiva. Questi frammenti possono avere lunghezze variabili, tipicamente tra il 10% e il 50% del testo originale.
	* Usa altri passaggi nel batch come esempi negativi: "Il ~~Colosseo si trova a Roma"~~, ~~"La Statua della Libertà è a New York"~~		'''Codifica dei testi''': I frammenti vengono processati attraverso un encoder basato su BERT che produce rappresentazioni vettoriali dense. Il modello utilizza due encoder: uno per le query e uno per i documenti (nel caso dell'architettura MoCo).
			'''Apprendimento contrastivo''': Il modello impara confrontando le rappresentazioni delle coppie positive con quelle negative, utilizzando una funzione di perdita che massimizza la similarità tra frammenti dello stesso documento e minimizza quella tra frammenti di documenti diversi.

	~~Per ogni batch:~~
	~~{\| class="wikitable"~~
	~~! Testo originale !! Query sintetica !! Negativi~~
	\|-
	~~\| La Torre Eiffel è stata costruita nel 1889 \|\| Quando è stata costruita la Torre Eiffel? \|\| Il Colosseo si trova a Roma~~
	\|-
	~~\| Parigi è la capitale della Francia \|\| Qual è la capitale della Francia? \|\| Tokyo è la città più popolosa del mondo~~
	\|}

	'''3. Creazione degli embedding'''		'''3. Creazione degli embedding'''

Alesaccoia il 09:37, 25 nov 2024

2024-11-25T09:37:00Z

← Versione meno recente		Versione delle 09:37, 25 nov 2024
Riga 1:		Riga 1:
	Modello di recupero dell'informazione sviluppato da Meta AI (vedi [[Unsupervised Dense Information Retrieval with Contrastive Learning]]) che utilizza l'apprendimento contrastivo per creare rappresentazioni dense di testi senza necessità di supervisione. È progettato per superare le limitazioni dei precedenti modelli che richiedevano dati annotati manualmente.		Modello di recupero dell'informazione sviluppato da [[Meta AI]] (vedi [[Unsupervised Dense Information Retrieval with Contrastive Learning]]) che utilizza l'apprendimento contrastivo per creare rappresentazioni dense di testi senza necessità di supervisione.

			È progettato per superare le limitazioni dei precedenti modelli che richiedevano dati '''annotati manualmente'''.

	=== Funzionamento ===		=== Funzionamento ===
Riga 5:		Riga 7:

	'''1. Architettura di base'''		'''1. Architettura di base'''
	Contriever utilizza un'architettura transformer (simile a BERT) con alcune modifiche ~~cruciali~~:
			Contriever utilizza un'architettura transformer (simile a BERT) con alcune iportanti modifiche:
	* Un encoder che processa sia le query che i documenti		* Un encoder che processa sia le query che i documenti
	* Un layer di pooling che calcola la media dei token per ottenere un embedding del testo		* Un layer di pooling che calcola la media dei token per ottenere un embedding del testo
Riga 11:		Riga 14:

	'''2. Processo di addestramento'''		'''2. Processo di addestramento'''

	Durante l'addestramento, Contriever opera su batch di testi (tipicamente 1024 o più passaggi) nel seguente modo:		Durante l'addestramento, Contriever opera su batch di testi (tipicamente 1024 o più passaggi) nel seguente modo:
	* Prende un passaggio di testo originale: "La Torre Eiffel è stata costruita nel 1889"		* Prende un passaggio di testo originale: "La Torre Eiffel è stata costruita nel 1889"
Riga 26:		Riga 30:

	'''3. Creazione degli embedding'''		'''3. Creazione degli embedding'''

	Per ogni testo, Contriever:		Per ogni testo, Contriever:
	# Tokenizza il testo		# Tokenizza il testo

Alesaccoia il 13:35, 24 nov 2024

2024-11-24T13:35:05Z

← Versione meno recente		Versione delle 13:35, 24 nov 2024
Riga 1:		Riga 1:
	Modello di recupero dell'informazione sviluppato da Meta AI che utilizza l'apprendimento contrastivo per creare rappresentazioni dense di testi senza necessità di supervisione. È progettato per superare le limitazioni dei precedenti modelli che richiedevano dati annotati manualmente.		Modello di recupero dell'informazione sviluppato da Meta AI (vedi [[Unsupervised Dense Information Retrieval with Contrastive Learning]]) che utilizza l'apprendimento contrastivo per creare rappresentazioni dense di testi senza necessità di supervisione. È progettato per superare le limitazioni dei precedenti modelli che richiedevano dati annotati manualmente.

	=== Funzionamento ===		=== Funzionamento ===

Mindmakerbot il 13:33, 24 nov 2024

2024-11-24T13:33:56Z

← Versione meno recente		Versione delle 13:33, 24 nov 2024
Riga 102:		Riga 102:
	</syntaxhighlight>		</syntaxhighlight>

	[[Categoria:Modello]]		[[Categoria:Modello]]{{#seo:
			\|title=Contriever
			\|title_mode=append
			\|keywords=recupero dell'informazione, apprendimento automatico, intelligenza artificiale, modelli linguistici, elaborazione del linguaggio naturale, embedding, similarità coseno, codifica semantica, zero-shot, Meta AI
			\|description=Contriever, modello di Meta AI, utilizza l'apprendimento contrastivo per creare rappresentazioni dense di testi, superando i modelli precedenti che necessitavano di dati annotati. Funziona tramite encoder, pooling layer e normalizzazione L2, ottimizzando la funzione InfoNCE per massimizzare la similarità tra query e documento.
			}}

Alesaccoia il 13:32, 24 nov 2024

2024-11-24T13:32:34Z

← Versione meno recente		Versione delle 13:32, 24 nov 2024
Riga 102:		Riga 102:
	</syntaxhighlight>		</syntaxhighlight>

	[[Categoria:~~Information Retrieval]]~~		[[Categoria:Modello]]
	~~[[Categoria:Modelli di Machine Learning]]~~
	~~[[Categoria:Intelligenza Artificiale~~]]

Alesaccoia: Creata pagina con "Modello di recupero dell'informazione sviluppato da Meta AI che utilizza l'apprendimento contrastivo per creare rappresentazioni dense di testi senza necessità di supervisione. È progettato per superare le limitazioni dei precedenti modelli che richiedevano dati annotati manualmente. === Funzionamento === Il funzionamento di Contriever si basa su alcuni principi chiave: '''1. Architettura di base''' Contriever utilizza un'architettura transformer (simile a BERT) con..."

2024-11-24T13:31:43Z

Creata pagina con "Modello di recupero dell'informazione sviluppato da Meta AI che utilizza l'apprendimento contrastivo per creare rappresentazioni dense di testi senza necessità di supervisione. È progettato per superare le limitazioni dei precedenti modelli che richiedevano dati annotati manualmente. === Funzionamento === Il funzionamento di Contriever si basa su alcuni principi chiave: '''1. Architettura di base''' Contriever utilizza un'architettura transformer (simile a BERT) con..."

Nuova pagina

Modello di recupero dell'informazione sviluppato da Meta AI che utilizza l'apprendimento contrastivo per creare rappresentazioni dense di testi senza necessità di supervisione. È progettato per superare le limitazioni dei precedenti modelli che richiedevano dati annotati manualmente.

=== Funzionamento ===
Il funzionamento di Contriever si basa su alcuni principi chiave:

'''1. Architettura di base'''
Contriever utilizza un'architettura transformer (simile a BERT) con alcune modifiche cruciali:
* Un encoder che processa sia le query che i documenti
* Un layer di pooling che calcola la media dei token per ottenere un embedding del testo
* Una normalizzazione L2 degli embedding finali

'''2. Processo di addestramento'''
Durante l'addestramento, Contriever opera su batch di testi (tipicamente 1024 o più passaggi) nel seguente modo:
* Prende un passaggio di testo originale: "La Torre Eiffel è stata costruita nel 1889"
* Crea una variante sintetica come query: "Quando è stata costruita la Torre Eiffel?"
* Usa altri passaggi nel batch come esempi negativi: "Il Colosseo si trova a Roma", "La Statua della Libertà è a New York"

Per ogni batch:
{| class="wikitable"
! Testo originale !! Query sintetica !! Negativi
|-
| La Torre Eiffel è stata costruita nel 1889 || Quando è stata costruita la Torre Eiffel? || Il Colosseo si trova a Roma
|-
| Parigi è la capitale della Francia || Qual è la capitale della Francia? || Tokyo è la città più popolosa del mondo
|}

'''3. Creazione degli embedding'''
Per ogni testo, Contriever:
# Tokenizza il testo
# Passa i token attraverso il transformer
# Applica mean pooling sugli output del transformer
# Normalizza il vettore risultante

Esempio di processo:
"La Torre Eiffel è stata costruita nel 1889" → [0.2, -0.3, 0.1, ..., 0.4] (vettore 768-dimensionale)

'''4. Calcolo della similarità'''
La similarità tra query e documento viene calcolata usando la similarità del coseno:
<math>
sim(q,d) = \frac{q \cdot d}{||q|| ||d||}
</math>

'''5. Funzione di perdita'''
Durante l'addestramento, Contriever ottimizza la funzione InfoNCE:
<math>
\mathcal{L} = -\log\frac{\exp(sim(q,d^+)/\tau)}{\exp(sim(q,d^+)/\tau) + \sum\exp(sim(q,d^-)/\tau)}
</math>

dove τ è un parametro di temperatura (tipicamente 0.05).

'''6. Processo di retrieval'''
Durante l'utilizzo:
# La query viene codificata nell'embedding q
# Ogni documento della collezione viene codificato in un embedding d
# Si calcola la similarità tra q e tutti i d
# Si restituiscono i k documenti più simili

Esempio pratico:
{| class="wikitable"
! Query !! Documento più simile !! Similarità
|-
| Quando fu costruita la Torre Eiffel? || La Torre Eiffel è stata costruita nel 1889 || 0.82
|-
| Chi ha inventato la lampadina? || Thomas Edison inventò la lampadina nel 1879 || 0.75
|}

'''7. Ottimizzazioni'''
Contriever implementa diverse ottimizzazioni:
* Batch di grandi dimensioni per migliore convergenza
* Normalizzazione degli embedding per stabilità numerica
* Cache degli embedding per efficienza computazionale
* Temperature scaling per bilanciare l'apprendimento

Le prestazioni di Contriever sono particolarmente notevoli in scenari zero-shot, dove supera modelli supervisionati tradizionali su vari benchmark di recupero dell'informazione.

=== Implementazione ===
Un esempio semplificato di utilizzo con Hugging Face:

<syntaxhighlight lang="python">
from transformers import AutoModel, AutoTokenizer

# Caricamento del modello
tokenizer = AutoTokenizer.from_pretrained('facebook/contriever')
model = AutoModel.from_pretrained('facebook/contriever')

# Codifica del testo
def encode_text(text):
inputs = tokenizer(text, return_tensors='pt', truncation=True)
outputs = model(**inputs)
embeddings = outputs.last_hidden_state.mean(dim=1)
return embeddings

# Esempio di utilizzo
query = "Quando fu costruita la Torre Eiffel?"
doc = "La Torre Eiffel è stata costruita nel 1889"

query_emb = encode_text(query)
doc_emb = encode_text(doc)

# Calcolo similarità
similarity = torch.cosine_similarity(query_emb, doc_emb)
</syntaxhighlight>

[[Categoria:Information Retrieval]]
[[Categoria:Modelli di Machine Learning]]
[[Categoria:Intelligenza Artificiale]]