Why think step by step? Reasoning emerges from the locality of experience (2023)
| Why think step by step? Reasoning emerges from the locality of experience (2023) | |
|---|---|
| Data | 2 novembre 2023 |
| Autori | Ben Prystawski, Michael Y. Li, Noah D. Goodman |
| URL | https://www.semanticscholar.org/paper/9a3edb5c6b0e8c84c94ea99a9ab647b1209f650f |
| Topic | Ragionamento a catena di pensiero nei modelli di linguaggio |
| Citazioni | 45 |
Questo paper esplora come i modelli di linguaggio, come GPT (Generative Pre-trained Transformer), migliorano le loro capacità di fare inferenze attraverso quello che viene chiamato ragionamento a catena di pensiero. L'idea centrale è che questi modelli possono diventare più efficaci quando "ragionano" attraverso una serie di passaggi intermedi, piuttosto che cercare di saltare direttamente alla conclusione finale.
Il paper tratta il concetto di "Burstiness", che significa che certi argomenti o idee tendono a comparire in gruppi ravvicinati nei dati di addestramento dei modelli. Questo aiuta i modelli a imparare meglio da esempi specifici. La "Località" si riferisce a come certi argomenti o classi tendono a essere presentati insieme. Questi concetti aiutano i modelli di linguaggio a capire e prevedere quali argomenti o parole sono probabilmente collegati o rilevanti l'uno all'altro in un dato contesto, migliorando così la loro capacità di "capire" il testo e fare inferenze basate su di esso.