Optimalisatie van Model Serving: Kwantisatie, Pruning en Distillatie voor Inferentie
FP8-inferentie is nu productiestandaard op H100/H200, waarbij INT4 (AWQ, GPTQ, GGUF) 70B-modellen mogelijk maakt op consumer GPU's. Speculatieve decodering levert 2-3x doorvoer voor autoregressieve generatie....
None