โครงสร้างพื้นฐานการฝึกสอน FP8: ความแม่นยำเชิงตัวเลขยุคใหม่
การฝึกสอน FP8 ลดความต้องการด้านการประมวลผลและหน่วยความจำลงประมาณครึ่งหนึ่งเมื่อเทียบกับ BF16 โดยยังคงรักษาคุณภาพระดับโปรดักชัน Microsoft, Meta และ Google ฝึกสอนโมเดลระดับแนวหน้าด้วย FP8 ได้ throughput...