모델 서빙 최적화: 추론을 위한 양자화, 프루닝, 증류
FP8 추론이 H100/H200에서 프로덕션 표준으로 자리잡았으며, INT4(AWQ, GPTQ, GGUF)를 통해 소비자용 GPU에서 700억 파라미터 모델 실행이 가능해졌습니다. 추측적 디코딩으로 자기회귀 생성에서 2-3배 처리량 향상 달성...
None