تحسين خدمة النماذج: التكميم والتقليم والتقطير للاستدلال
أصبح استدلال FP8 معيارًا إنتاجيًا على H100/H200، مع تمكين INT4 (AWQ، GPTQ، GGUF) لنماذج 70B على وحدات معالجة الرسومات الاستهلاكية. يحقق فك التشفير التخميني إنتاجية أعلى بمقدار 2-3 أضعاف للتوليد الانحداري التلقائي....
None