मॉडल सर्विंग ऑप्टिमाइज़ेशन: इन्फरेंस के लिए Quantization, Pruning, और Distillation
FP8 इन्फरेंस अब H100/H200 पर प्रोडक्शन-स्टैंडर्ड है, INT4 (AWQ, GPTQ, GGUF) के साथ 70B मॉडल कंज्यूमर GPUs पर चल रहे हैं। Speculative decoding ऑटोरिग्रेसिव जनरेशन के लिए 2-3x थ्रूपुट दे रहा है....
None