M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation

M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
Data	2021
Autori	Jianlv Chen, Shitao Xiao, Peitian Zhang, Kun Luo, Defu Lian, Zheng Liu
URL	https://www.semanticscholar.org/paper/4d5735c186ddb2430ac9689ccf61fdcbbfc23abc
Topic	Modelli di embedding
Citazioni	67

Viene presentato M3-Embedding, un nuovo modello di embedding versatile per la sua natura multilingue, multifunzionale e multi-granulare. Supporta oltre 100 lingue, ottenendo prestazioni all'avanguardia in compiti di retrieval multilingue e cross-lingue. Può eseguire simultaneamente tre funzionalità di retrieval comuni: dense retrieval, multi-vector retrieval e sparse retrieval. È in grado di elaborare input di diverse granularità, da brevi frasi a documenti lunghi fino a 8192 token.

Vedi anche

COIL: Revisit exact lexical match in information retrieval with contextualized inverted list

A Few Brief Notes on DeepImpact, COIL, and a Conceptual Framework for Information Retrieval Techniques

Context-Aware Term Weighting For First Stage Passage Retrieval