Model Bahasa Rekursif: Mengajari AI Mengelola Konteksnya Sendiri
Jendela konteks telah berkembang secara dramatis: 100K, 200K, bahkan 1 juta token.[^1] Namun, batasan fundamental tetap ada. Biaya memori linier, degradasi atensi pada panjang ekstrem, dan ketidakmampuan untuk mengunjungi kembali atau mengatur ulang informasi setelah dikonsumsi membatasi apa yang dapat dicapai model konteks panjang.[^2] Model Bahasa Rekursif (RLM) mengambil pendekatan yang sama sekali berbeda. Alih-alih memasukkan semuanya ke dalam konteks, RLM mengajarkan model untuk secara aktif mengelola konteksnya sendiri menggunakan skrip Python dan panggilan sub-LLM.[^3]
Ringkasan
Paper RLM dari MIT memperkenalkan arsitektur di mana model bahasa utama mendelegasikan pekerjaan ke Python REPL persisten dan instans sub-LLM yang dapat di-spawn.[^4] Alih-alih memuat input masif secara langsung, model memeriksa dan mentransformasi data secara programatik.[^5] Pengujian menunjukkan RLM menangani input hingga 100x di luar jendela konteks model sambil secara dramatis mengungguli model dasar dan scaffold konteks panjang umum.[^6] Pada CodeQA, GPT-5 mencapai akurasi baseline 24% sementara RLM mencapai 62%.[^7]
Solusi RLM
RLM membalik paradigma dari "model menerima konteks" menjadi "model mengelola konteks".[^14]
Arsitektur Inti
RLM memberikan tiga kemampuan kunci ke model utama:[^15]
| Kemampuan | Implementasi | Tujuan |
|---|---|---|
| Python REPL | Lingkungan persisten | Menyimpan, mentransformasi, mengambil data |
| Sub-LLM | Instans yang dapat di-spawn via llm_batch() |
Mendelegasikan tugas analisis |
| Variabel Answer | answer["content"] + answer["ready"] |
Penyempurnaan respons iteratif |
Model utama tidak pernah memproses input masif secara langsung. Sebaliknya, ia menulis kode Python untuk mengelola aliran informasi.
Performa Benchmark
Pengujian di empat lingkungan beragam mengungkapkan kemampuan signifikan:[^27]
CodeQA (Dokumen QA)
| Model | Pendekatan | Akurasi |
|---|---|---|
| GPT-5 | Baseline | 24.0% |
| GPT-5 | Agen ringkasan | 41.3% |
| GPT-5 | RLM | 62.0% |
RLM lebih dari dua kali lipat performa baseline.
Poin Utama
Model Bahasa Rekursif memperkenalkan pergeseran paradigma dalam penanganan konteks:
- Manajemen Konteks Aktif: Model mengontrol konteksnya sendiri alih-alih menerimanya secara pasif
- Ekstensi 100x: Menangani input jauh melampaui jendela konteks native
- Informasi Terpelihara: Tidak ada kehilangan informasi berbasis ringkasan
- Efisiensi Token: Pengurangan 2-3x dalam konsumsi token model utama
