Mô hình Ngôn ngữ Đệ quy: Dạy AI Quản lý Ngữ cảnh của Chính mình
Cửa sổ ngữ cảnh đã mở rộng đáng kể: 100K, 200K, thậm chí 1 triệu token.[^1] Tuy nhiên, các giới hạn cơ bản vẫn tồn tại. Chi phí bộ nhớ tuyến tính, sự suy giảm attention ở độ dài cực đoan, và không thể xem lại hoặc tổ chức lại thông tin đã tiêu thụ đều hạn chế những gì mô hình ngữ cảnh dài có thể đạt được.[^2]
Giải pháp RLM
RLM đảo ngược mô hình từ "mô hình nhận ngữ cảnh" thành "mô hình quản lý ngữ cảnh".[^14]
Kiến trúc Cốt lõi
RLM cung cấp ba khả năng chính cho mô hình chính:[^15]
| Khả năng | Triển khai | Mục đích |
|---|---|---|
| Python REPL | Môi trường bền vững | Lưu trữ, chuyển đổi, truy xuất dữ liệu |
| Sub-LLM | Các instance có thể spawn qua llm_batch() |
Ủy quyền nhiệm vụ phân tích |
| Biến Answer | answer["content"] + answer["ready"] |
Tinh chỉnh phản hồi lặp |
Hiệu suất Benchmark
CodeQA
| Mô hình | Cách tiếp cận | Độ chính xác |
|---|---|---|
| GPT-5 | Baseline | 24.0% |
| GPT-5 | Agent tóm tắt | 41.3% |
| GPT-5 | RLM | 62.0% |
Điểm Chính
Mô hình Ngôn ngữ Đệ quy giới thiệu sự thay đổi mô hình trong xử lý ngữ cảnh:
- Quản lý Ngữ cảnh Chủ động: Mô hình kiểm soát ngữ cảnh của chính mình thay vì nhận thụ động
- Mở rộng 100x: Xử lý đầu vào vượt xa cửa sổ ngữ cảnh gốc
- Thông tin được Bảo tồn: Không mất thông tin dựa trên tóm tắt
