Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks

Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks
Data	2019
Autori	Nils Reimers, Iryna Gurevych
URL	https://www.semanticscholar.org/paper/93d63ec754f29fa22572615320afe0521f7ec66d
Topic	BERT utilizza reti siamesi e triplette per generare embeddings di frasi semanticamente significativi, riducendo drasticamente il tempo necessario per trovare le coppie di frasi più simili da 65 ore con BERT a circa 5 secondi con SBERT
Citazioni	8961

BERT (Devlin et al., 2018) e RoBERTa (Liu et al., 2019) hanno stabilito un nuovo stato dell'arte nelle attività di regressione di coppie di frasi come la similarità testuale semantica (STS). Tuttavia, richiedono che entrambe le frasi siano inserite nella rete, il che causa un enorme sovraccarico computazionale: trovare la coppia più simile in una raccolta di 10.000 frasi richiede circa 50 milioni di calcoli di inferenza (~65 ore) con BERT. La struttura di BERT lo rende inadatto sia per la ricerca di similarità semantica sia per attività non supervisionate come il clustering. In questa pubblicazione, presentiamo Sentence-BERT (SBERT), una modifica della rete BERT pre-addestrata che utilizza strutture di rete siamesi e triplette per derivare embedding di frasi semanticamente significativi che possono essere confrontati utilizzando la similarità del coseno. Questo riduce lo sforzo per trovare la coppia più simile da 65 ore con BERT / RoBERTa a circa 5 secondi con SBERT, mantenendo al contempo l'accuratezza di BERT. Valutiamo SBERT e SRoBERTa su comuni attività STS e attività di apprendimento di trasferimento, dove supera altri metodi all'avanguardia per l'embedding di frasi.