SPLADE - Cronologia

Mindmakerbot il 16:26, 17 ago 2024

2024-08-17T16:26:53Z

← Versione meno recente		Versione delle 16:26, 17 ago 2024
Riga 31:		Riga 31:
	\|title=Your page title		\|title=Your page title
	\|title_mode=append		\|title_mode=append
	\|keywords="SPLADE, Sparse Lexical and Expansion Model, modello linguistico, embedding, rappresentazione semantica, BERT, Word-Pieces, espansione dei termini, apprendimento automatico, Pinecone, Masked-Language-Modeling, matrice di embedding, HuggingFace, Naver Labs"		\|keywords=SPLADE, Sparse Lexical and Expansion Model, modello linguistico, embedding, rappresentazione semantica, BERT, Word-Pieces, espansione dei termini, apprendimento automatico, Pinecone, Masked-Language-Modeling, matrice di embedding, HuggingFace, Naver Labs
	\|description="Questo articolo descrive SPLADE (Sparse Lexical and Expansion Model), un modello che combina la sparsità degli approcci tradizionali come TF-IDF con la ricchezza semantica dei modelli densi come BERT. SPLADE apprende a espandere i termini e a generarne di nuovi, migliorando la rappresentazione del testo e le attività di recupero delle informazioni."		\|description=Questo articolo descrive SPLADE (Sparse Lexical and Expansion Model), un modello che combina la sparsità degli approcci tradizionali come TF-IDF con la ricchezza semantica dei modelli densi come BERT. SPLADE apprende a espandere i termini e a generarne di nuovi, migliorando la rappresentazione del testo e le attività di recupero delle informazioni.
	\|image=Temexpansion.png		\|image=Temexpansion.png
	}}		}}

Mindmakerbot il 13:36, 17 ago 2024

2024-08-17T13:36:10Z

← Versione meno recente		Versione delle 13:36, 17 ago 2024
Riga 27:		Riga 27:

	[[Categoria:Modello]]		[[Categoria:Modello]]

			{{#seo:
			\|title=Your page title
			\|title_mode=append
			\|keywords="SPLADE, Sparse Lexical and Expansion Model, modello linguistico, embedding, rappresentazione semantica, BERT, Word-Pieces, espansione dei termini, apprendimento automatico, Pinecone, Masked-Language-Modeling, matrice di embedding, HuggingFace, Naver Labs"
			\|description="Questo articolo descrive SPLADE (Sparse Lexical and Expansion Model), un modello che combina la sparsità degli approcci tradizionali come TF-IDF con la ricchezza semantica dei modelli densi come BERT. SPLADE apprende a espandere i termini e a generarne di nuovi, migliorando la rappresentazione del testo e le attività di recupero delle informazioni."
			\|image=Temexpansion.png
			}}

Alesaccoia: Creata pagina con "Acronimo di '''Sp'''arse '''L'''exical '''a'''n'''d''' '''E'''xpansion model: modello che produce embedding '''sparsi''' come gli approcci Bag-Of-Words, TF-IDF o BM25, ma arricchiti da una rappresentazione semantica come nei modelli '''densi'''. L'idea di base è che un modello di linguaggio pre-addestrato come BERT possa identificare dei collegamenti fra parole/sub-words (chiamati Word-Pieces) e utilizzare quella conoscenza per aumentare l'embedding sp..."

2024-06-20T15:57:56Z

Creata pagina con "Acronimo di '''Sp'''arse '''L'''exical '''a'''n'''d''' '''E'''xpansion model: modello che produce embedding '''sparsi''' come gli approcci Bag-Of-Words, TF-IDF o BM25, ma arricchiti da una rappresentazione semantica come nei modelli '''densi'''. L'idea di base è che un modello di linguaggio pre-addestrato come BERT possa identificare dei collegamenti fra parole/sub-words (chiamati Word-Pieces) e utilizzare quella conoscenza per aumentare l'embedding sp..."

Nuova pagina

Acronimo di '''Sp'''arse '''L'''exical '''a'''n'''d''' '''E'''xpansion model: modello che produce [[embedding]] '''sparsi''' come gli approcci [[Bag-Of-Words]], TF-IDF o BM25, ma arricchiti da una rappresentazione semantica come nei modelli '''densi'''.

L'idea di base è che un modello di linguaggio pre-addestrato come [[BERT]] possa identificare dei collegamenti fra parole/sub-words (chiamati [[Word-Pieces]]) e utilizzare quella conoscenza per aumentare l'embedding sparso.
[[File:Temexpansion.png|miniatura|Term Expansion (da Pinecone)]]
In tal modo si pesa il contributo di termini diversi (per esempio l'articolo '''il''' avrà meno rilevanza di una parola meno comune, e permette l'''espansione dei termini'', ovvero l'inclusione di termini relativi ma rilevanti al di là di quelli che si trovano nella sequenza originale.

La cosa più importante di SPLADE non è necessariamente che possa creare termini sostitutivi, ma che possa '''apprenderli''': esso può utilizzare i migliori modelli di linguaggio per imparare queste somiglianze e anche personalizzarli in base al contesto della frase.

=== Apprendimento in SPLADE ===
[[File:Embeddingmatrix.png|miniatura|I Vettori della matrice di embedding representano un token in uno spazio vettoriale]]
Normalmente si parte da [[BERT]] utilizzando una ''head'' di [[Masked-Language-Modeling (MLM)]]: per maggiori dettagli si veda il link sul sito di Pinecone in basso. Quello che più importa è che, alla fine del processo di apprendimento del transformer, in cui le distribuzioni di probabilità per tutti i token di input su tutto il vocabolario (I x V) vengono aggretate per ottenere l''''importanza di ogni parola del vocabolario rispetto alla nostra frase''': questo è il vettore sparso prodotto da SPLADE.

=== Implementazioini ===
Esistono diverse implementazioni, tra cui:

* L'implementazione fine-tuned su HuggingFace: naver/splade-cocondenser-ensembledistil
* L'implementazione di Naver Labs: <nowiki>https://github.com/naver/splade.git</nowiki>

=== Links ===
[https://arxiv.org/abs/2109.10086 SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval]

[https://colab.research.google.com/github/pinecone-io/examples/blob/master/learn/search/semantic-search/sparse/splade/splade-vector-generation.ipynb Colab Ufficiale (Google)]

[https://www.pinecone.io/learn/splade/ SPLADE for Sparse Vector Search Explained] ([[Pinecone]])

https://github.com/pinecone-io/examples/blob/master/learn/search/hybrid-search/ecommerce-search/ecommerce-search.ipynb

[[Categoria:Modello]]