Neural Information Retrieval
Il recupero dell'informazione neurale (neural information retrieval) è un approccio moderno al recupero di documenti che utilizza reti neurali e rappresentazioni dense per trovare informazioni rilevanti all'interno di grandi raccolte di testi. Esso si differenzia normalmente dal mero uso di metriche di similarità sugli embeddings, in quanto si basa su algoritmi specializzati nel trovare i migliori documenti in relazione alle query dell'utente.
Panoramica
A differenza dei metodi tradizionali come TF-IDF e BM25 che si basano sulla corrispondenza esatta delle parole (ricerca sparsa o sparse retrieval), i sistemi neurali creano rappresentazioni dense (embeddings) sia per le query che per i documenti, permettendo di catturare relazioni semantiche più profonde.
Evoluzione storica
Prima generazione: Recupero supervisionato
I primi sistemi di recupero neurale, come il Dense Passage Retriever (DPR), richiedevano grandi dataset di addestramento con coppie annotate query-documento. Questo approccio, sebbene efficace, presentava limitazioni significative:
- Necessità di annotazioni manuali costose
- Difficoltà di scalabilità a nuovi domini
- Limitata disponibilità di dati in lingue diverse dall'inglese