فك التشفير التخميني: تحقيق تسريع 2-3 أضعاف في استدلال نماذج اللغة الكبيرة
فك التشفير التخميني ينضج من البحث إلى معيار الإنتاج. NVIDIA تُظهر تحسينات في الإنتاجية بمقدار 3.6 ضعف على وحدات معالجة الرسوميات H200. vLLM وTensorRT-LLM يتضمنان دعماً أصلياً. نماذج المسودة تقترح 5-8 ...