โมเดลภาษาแบบเรียกซ้ำ: สอน AI ให้จัดการบริบทของตัวเอง
หน้าต่างบริบทได้ขยายอย่างมาก: 100K, 200K, แม้แต่ 1 ล้านโทเค็น[^1] อย่างไรก็ตาม ข้อจำกัดพื้นฐานยังคงอยู่ ต้นทุนหน่วยความจำเชิงเส้น การเสื่อมสลายของ attention ที่ความยาวสุดขั้ว และไม่สามารถเยี่ยมชมหรือจัดระเบียบข้อมูลใหม่ได้เมื่อบริโภคแล้ว ล้วนจำกัดสิ่งที่โมเดลบริบทยาวสามารถทำได้[^2]
โซลูชัน RLM
RLM พลิกพาราไดม์จาก "โมเดลรับบริบท" เป็น "โมเดลจัดการบริบท"[^14]
สถาปัตยกรรมหลัก
RLM ให้ความสามารถหลักสามประการแก่โมเดลหลัก:[^15]
| ความสามารถ | การใช้งาน | วัตถุประสงค์ |
|---|---|---|
| Python REPL | สภาพแวดล้อมถาวร | จัดเก็บ แปลง ดึงข้อมูล |
| Sub-LLM | อินสแตนซ์ที่สร้างได้ผ่าน llm_batch() |
มอบหมายงานวิเคราะห์ |
| ตัวแปร Answer | answer["content"] + answer["ready"] |
การปรับปรุงคำตอบแบบวนซ้ำ |
ประสิทธิภาพ Benchmark
CodeQA
| โมเดล | แนวทาง | ความแม่นยำ |
|---|---|---|
| GPT-5 | Baseline | 24.0% |
| GPT-5 | Agent สรุป | 41.3% |
| GPT-5 | RLM | 62.0% |
ประเด็นสำคัญ
โมเดลภาษาแบบเรียกซ้ำแนะนำการเปลี่ยนแปลงพาราไดม์ในการจัดการบริบท:
- การจัดการบริบทแบบแอคทีฟ: โมเดลควบคุมบริบทของตัวเองแทนที่จะรับแบบพาสซีฟ
- ขยาย 100x: จัดการอินพุตที่เกินหน้าต่างบริบทเดิมมาก
- ข้อมูลที่เก็บรักษา: ไม่มีการสูญเสียข้อมูลจากการสรุป
