M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
| M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation | |
|---|---|
| Data | 2021 |
| Autori | Jianlv Chen, Shitao Xiao, Peitian Zhang, Kun Luo, Defu Lian, Zheng Liu |
| URL | https://www.semanticscholar.org/paper/4d5735c186ddb2430ac9689ccf61fdcbbfc23abc |
| Topic | Modelli di embedding |
| Citazioni | 67 |
Viene presentato M3-Embedding, un nuovo modello di embedding versatile per la sua natura multilingue, multifunzionale e multi-granulare. Supporta oltre 100 lingue, ottenendo prestazioni all'avanguardia in compiti di retrieval multilingue e cross-lingue. Può eseguire simultaneamente tre funzionalità di retrieval comuni: dense retrieval, multi-vector retrieval e sparse retrieval. È in grado di elaborare input di diverse granularità, da brevi frasi a documenti lunghi fino a 8192 token.
Vedi anche
COIL: Revisit exact lexical match in information retrieval with contextualized inverted list
Context-Aware Term Weighting For First Stage Passage Retrieval