MemGPT: Towards LLMs as Operating Systems
| MemGPT: Towards LLMs as Operating Systems | |
|---|---|
| Data | 2024 |
| Autori | Charles Packer, Vivian Fang, Shishir G. Patil, Kevin Lin, Sarah Wooders, Joseph Gonzalez |
| URL | https://www.semanticscholar.org/paper/908dad62c0e43d80e3e3cb3c0402f7c71c70499c |
| Topic | Large Language Models (LLM) |
| Citazioni | 75 |
MemGPT è un sistema che gestisce in modo intelligente diversi livelli di memoria per fornire efficacemente un contesto esteso all'interno della finestra di contesto limitata di un LLM. Utilizza interrupt per gestire il flusso di controllo tra se stesso e l'utente.
MemGPT è stato valutato in due domini in cui le finestre di contesto limitate dei moderni LLM ne compromettono gravemente le prestazioni: l'analisi di documenti, dove MemGPT è in grado di analizzare documenti di grandi dimensioni che superano di gran lunga la finestra di contesto dell'LLM sottostante, e la chat multi-sessione, dove MemGPT può creare agenti conversazionali che ricordano, riflettono ed evolvono dinamicamente attraverso interazioni a lungo termine con i loro utenti.