Рекурсивні мовні моделі: Навчання ШІ керувати власним контекстом
Контекстні вікна значно розширилися: 100K, 200K, навіть 1 мільйон токенів.[^1] Проте фундаментальні обмеження залишаються. Лінійні витрати пам'яті, деградація уваги при екстремальних довжинах та неможливість повторно відвідати або реорганізувати інформацію після споживання — все це обмежує можливості моделей з довгим контекстом.[^2]
Рішення RLM
RLM перевертає парадигму з "модель отримує контекст" на "модель керує контекстом".[^14]
Основна архітектура
RLM надає три ключові можливості основній моделі:[^15]
| Можливість | Реалізація | Призначення |
|---|---|---|
| Python REPL | Постійне середовище | Зберігання, трансформація, отримання даних |
| Суб-LLM | Екземпляри через llm_batch() |
Делегування аналітичних завдань |
| Змінна Answer | answer["content"] + answer["ready"] |
Ітеративне вдосконалення відповіді |
Продуктивність на бенчмарках
CodeQA
| Модель | Підхід | Точність |
|---|---|---|
| GPT-5 | Базова | 24.0% |
| GPT-5 | Агент підсумків | 41.3% |
| GPT-5 | RLM | 62.0% |
Ключові висновки
Рекурсивні мовні моделі вводять зміну парадигми в обробці контексту:
- Активне керування контекстом: Моделі контролюють власний контекст замість пасивного отримання
- 100-кратне розширення: Обробка вхідних даних далеко за межами нативних контекстних вікон
- Збережена інформація: Немає втрати інформації на основі підсумків
