GPU 性能调优：最大化 LLM 训练和推理吞吐量
FP8 训练现已在 H100/H200 和 Blackwell 上投入生产，在保持同等精度的同时实现了比 FP16 高 2 倍的吞吐量。针对 Hopper 架构优化的 Flash Attention 3 实现了 1.5-2 倍的加速。vLLM 0.6+ 和 TensorRT-LLM 通过连续批处理和推测解码实现了 3-5 倍的推理吞吐量提升...
None