RecurrentGPT

Rilasciato da: Wangchunshu Zhou, Yuchen Eleanor Jiang, Peng Cui, Tiannan Wang, Zhenxin Xiao, Yifan Hou, Ryan Cotterell, Mrinmaya Sachan, ETH Zürich

Data di pubblicazione: 23 maggio 2023

Accesso: Open source

Descrizione

RecurrentGPT è un modello avanzato multilingua di intelligenza artificiale che estende le capacità dei grandi modelli di linguaggio (come ChatGPT) con un meccanismo di ricorrenza ispirato agli RNN (Reti Neurali Ricorrenti) e agli LSTM (Long Short-Term Memory). Attraverso l'uso di linguaggio naturale come blocchi costruttivi, RecurrentGPT simula la memoria a lungo e breve termine, consentendo la generazione di testi di lunghezza arbitraria e superando le limitazioni di contesto fisse dei modelli Transformer tradizionali. Questo approccio rende RecurrentGPT altamente interpretabile e interattivo, permettendo agli utenti di osservare, modificare e influenzare direttamente il processo di generazione del testo.

Caratteristiche Principali

• Generazione Ricorsiva di testi
• Interpretabilità e Interattività
• Personalizzazione

Architettura

• Input / Output
• Short term memory
• Long term memory

Baseline

• Rolling-ChatGPT
• RE3
• DOC

Applicazioni

• Interactive Writing Assistant
• Interactive Fiction

Esperimenti e metriche di valutazione

Gli esperimenti condotti dimostrano che RecurrentGPT eccelle nella generazione di testi lunghi, mantenendo le metriche di valutazione (coerenza e coinvolgimento) anche oltre le capacità di ChatGPT non modificato. È stato testato con successo in vari generi narrativi, dimostrando la sua versatilità e robustezza.

Limitazioni

Sebbene RecurrentGPT possa generare testi arbitrariamente lunghi, è stato valutato solo in contesti in cui i testi generati sono al massimo di circa 5000 parole. Un'altra limitazione è la sua dipendenza da LLM avanzati (ChatGPT e GPT-4) e nella gestione di testi estremamente lunghi. Si pensa che questo problema possa essere alleviato quando verranno sviluppati LLM più piccoli e potenti.

Prospettiva futura

RecurrentGPT segna un passo importante verso la realizzazione di sistemi di scrittura assistita da computer di prossima generazione, offrendo una soluzione promettente per superare le limitazioni esistenti nella generazione di testi lunghi e aprire nuove frontiere nell'uso creativo dell'IA.