Dialogue State Tracking

Il Dialogue State Tracking (DST) rappresenta un task nell'ambito dell'intelligenza artificiale conversazionale e dei sistemi di dialogo parlato.

Esso mira a mantenere una rappresentazione dello stato di una conversazione man mano che questa procede. Lo stato del dialogo include le intenzioni dell'utente, le preferenze e tutti i dettagli che sono stati forniti o richiesti durante la conversazione. Tracciando questi elementi, il sistema può comprendere il contesto dell'interazione, rispondere in modo appropriato e aiutare a guidare la conversazione verso il raggiungimento degli obiettivi dell'utente.

Il processo di DST si articola in diverse fasi:

• Interpretazione delle espressioni dell'utente: Il sistema interpreta ciò che l'utente dice, estraendo informazioni rilevanti come le intenzioni (ciò che l'utente desidera fare) e le entità (elementi specifici menzionati dall'utente, come date, località, nomi di prodotti, ecc.).
• Aggiornamento dello stato: Basandosi sulle nuove informazioni estratte, il sistema aggiorna lo stato del dialogo incorporando nuove informazioni, modificando quelle esistenti o rimuovendo le informazioni irrilevanti.
• Decisione dell'azione: Il sistema utilizza lo stato del dialogo aggiornato per decidere la prossima azione, che può essere chiedere all'utente ulteriori informazioni, fornire una risposta, eseguire un comando, ecc.

Il concetto si unisce a quello di Task-Oriented-Dialogues (TOD), che differiscono dalla conversazione generale in stile ChatGPT in quanto richiede al modello non solo di generare le risposte ma anche di tracciare gli stati della conversazione in base a schemi specifici del dominio.

Esempio

Fonte: https://arxiv.org/pdf/1606.03777.pdf

Metriche di benchmarking

Joint Goal Accuracy (JGA) misura la percentuale di "turni" nei quali tutti gli slot vengono correttamente predetti/