Hạ tầng Huấn luyện FP8: Độ chính xác số thế hệ mới

Cập nhật ngày 11 tháng 12 năm 2025

Cập nhật tháng 12 năm 2025: Huấn luyện FP8 cắt giảm yêu cầu tính toán và bộ nhớ xuống còn khoảng một nửa so với BF16 trong khi vẫn duy trì chất lượng sản xuất. Microsoft, Meta, Google đang huấn luyện các mô hình tiên phong với FP8 đạt được cải thiện thông lượng 30-40%. Llama-2 7B được huấn luyện hoàn toàn bằng FP8 đạt độ chính xác tương đương BF16 với mức tăng thông lượng 34%. Yêu cầu kiến trúc Hopper (H100/H200) hoặc Blackwell với Transformer Engine.

Huấn luyện các mô hình ngôn ngữ lớn tiêu tốn lượng tính toán và bộ nhớ khổng lồ. Một lần huấn luyện duy nhất cho mô hình 70 tỷ tham số với độ chính xác BF16 đòi hỏi hàng trăm gigabyte bộ nhớ GPU và nhiều tuần thời gian xử lý. Độ chính xác FP8 cắt giảm những yêu cầu đó xuống còn khoảng một nửa trong khi vẫn duy trì chất lượng mô hình mà các triển khai sản xuất đòi hỏi.¹ Điều kiện là: huấn luyện FP8 yêu cầu phần cứng cụ thể, thư viện phần mềm chuyên dụng, và tinh chỉnh cẩn thận mà nhiều tổ chức chưa thành thạo.

Kiến trúc Hopper và Blackwell của NVIDIA đã đưa huấn luyện FP8 từ sự tò mò nghiên cứu sang thực tế sản xuất. Các tổ chức bao gồm Microsoft, Meta và Google hiện đang huấn luyện các mô hình tiên phong sử dụng độ chính xác FP8, đạt được cải thiện thông lượng 30-40% so với baseline BF16.² Hiểu các yêu cầu hạ tầng FP8 giúp doanh nghiệp xác định liệu đầu tư vào phần cứng tương thích và chuyên môn kỹ thuật có mang lại lợi nhuận có ý nghĩa cho khối lượng công việc huấn luyện cụ thể của họ hay không.

Bối cảnh độ chính xác số

Độ chính xác deep learning đã phát triển qua nhiều thế hệ, mỗi thế hệ đánh đổi độ chính xác để lấy hiệu quả. FP32 (dấu phẩy động 32-bit) từng là tiêu chuẩn ban đầu, lưu trữ giá trị với 8 bit số mũ và 23 bit phần định trị. FP16 và BF16 (định dạng 16-bit) giảm yêu cầu bộ nhớ xuống một nửa nhưng gây ra thách thức về độ ổn định cho huấn luyện quy mô lớn.

FP8 giảm xa hơn bằng cách chỉ sử dụng tổng cộng 8 bit. NVIDIA triển khai hai biến thể FP8 được tối ưu hóa cho các giai đoạn huấn luyện khác nhau:³

E4M3 (4 bit số mũ, 3 bit phần định trị): Độ chính xác cao hơn với phạm vi động hẹp hơn, lưu trữ giá trị đến ±448. Các activation và trọng số của forward pass được hưởng lợi từ độ chính xác của E4M3 vì những khác biệt nhỏ trong các tensor này ảnh hưởng đến chất lượng mô hình.

E5M2 (5 bit số mũ, 2 bit phần định trị): Độ chính xác thấp hơn với phạm vi động rộng hơn, hỗ trợ giá trị từ rất nhỏ đến rất lớn. Tính toán gradient trong backward pass yêu cầu phạm vi động của E5M2 vì gradient biến đổi mạnh mẽ hơn nhiều so với activation.

Cách tiếp cận hai định dạng cho phép huấn luyện FP8 đạt độ chính xác tương đương BF16 trong khi mang lại tăng tốc đáng kể. Các nhóm nghiên cứu đã huấn luyện Llama-2 7B hoàn toàn bằng FP8 và đạt độ chính xác ngang bằng với baseline BF16 trong khi cải thiện thông lượng 34%.⁴

Yêu cầu phần cứng cho huấn luyện FP8

Huấn luyện FP8 yêu cầu GPU với Tensor Core chuyên dụng hỗ trợ các phép toán 8-bit. Chỉ các kiến trúc NVIDIA gần đây cung cấp phần cứng cần thiết:

Hopper (H100, H200): Hỗ trợ FP8 sản xuất thế hệ đầu tiên với tích hợp Transformer Engine. H100 mang lại tăng tốc 2x trên FP8 so với Tensor Core FP16, mặc dù GPU cũng tăng tốc đáng kể huấn luyện BF16 so với các thế hệ trước.⁵

Blackwell (B100, B200, GB200): Hỗ trợ FP8 nâng cao với định dạng MXFP8 (Microscaling FP8) và định dạng độ chính xác NVFP4 mới. B200 cung cấp 72 petaflop hiệu năng huấn luyện FP8, đại diện cho cải thiện 3x so với H100.⁶ MXFP8 triển khai scaling theo khối giúp giảm lỗi lượng tử hóa so với scaling theo tensor của Hopper.

Ada Lovelace (RTX 4090, L40S): Hỗ trợ suy luận FP8 nhưng khả năng huấn luyện hạn chế. GPU Ada thiếu băng thông bộ nhớ và dung lượng cho khối lượng công việc huấn luyện quy mô lớn.

Dung lượng bộ nhớ xác định kích thước mô hình khả thi ở mỗi mức độ chính xác. Huấn luyện Llama-3 70B bằng FP8 yêu cầu khoảng 21GB chỉ riêng cho tham số, so với 42GB cho BF16.⁷ Bao gồm optimizer state, activation và gradient, một thiết lập huấn luyện đầy đủ yêu cầu bộ nhớ gấp 4-8 lần tham số tùy thuộc vào kích thước batch và chiến lược tối ưu hóa.

Một hệ thống DGX H200 với 8 GPU cung cấp tổng cộng 1.128GB bộ nhớ HBM3e có giá 400.000-500.000 USD. DGX B200 mới hơn có giá niêm yết 515.410 USD và cung cấp 72 petaflop hiệu năng huấn luyện FP8 và 144 petaflop hiệu năng suy luận FP4.⁸ Các cluster huấn luyện đa node nhân lên chi phí nhưng cho phép huấn luyện các mô hình không thể thực hiện trên một node đơn.

Transformer Engine: nền tảng phần mềm

Thư viện Transformer Engine của NVIDIA cung cấp lớp phần mềm cho phép huấn luyện FP8 thực tế. Thư viện xử lý quản lý hệ số scaling, chuyển đổi độ chính xác và các kernel tối ưu hóa tự động, đơn giản hóa việc tích hợp với codebase huấn luyện hiện có.⁹

Transformer Engine bọc các module PyTorch tiêu chuẩn với các triển khai nhận biết FP8:

import transformer_engine.pytorch as te
from transformer_engine.common.recipe import Format, DelayedScaling

# Định nghĩa recipe FP8 với delayed scaling
fp8_recipe = DelayedScaling(
    margin=0,
    fp8_format=Format.HYBRID,  # E4M3 forward, E5M2 backward
    amax_history_len=16,
    amax_compute_algo="max"
)

# Thay thế Linear tiêu chuẩn bằng TE Linear
linear = te.Linear(in_features=4096, out_features=4096)

# Bật FP8 chỉ cho forward pass
with te.fp8_autocast(enabled=True, fp8_recipe=fp8_recipe):
    output = linear(input_tensor)

Context manager fp8_autocast xử lý chuyển đổi độ chính xác tự động. Delayed scaling chọn các hệ số scaling dựa trên giá trị tuyệt đối tối đa quan sát được qua các iteration trước, ngăn overflow trong khi tối đa hóa việc sử dụng phạm vi động.¹⁰

Tích hợp với các framework chính tiếp tục mở rộng. PyTorch Lightning cung cấp plugin TransformerEnginePrecision cho huấn luyện mixed-precision liền mạch. HuggingFace Accelerate hỗ trợ FP8 thông qua nhiều backend bao gồm TransformerEngine, torchao và MS-AMP.¹¹

Chiến lược scaling và độ ổn định

Phạm vi động hạn chế của FP8 khiến việc chọn hệ số scaling trở nên quan trọng. Scaling kém gây ra overflow (giá trị vượt quá phạm vi có thể biểu diễn) hoặc underflow (giá trị lượng tử hóa về không), cả hai đều làm giảm chất lượng mô hình.

Scaling theo tensor: Gán một hệ số scaling cho mỗi tensor, tính toán các scale dựa trên thống kê tensor. Đơn giản để triển khai nhưng không tối ưu khi giá trị tensor thay đổi đáng kể qua các vùng khác nhau.

Scaling theo khối (MXFP8): GPU Blackwell triển khai microscaling gán các hệ số scaling riêng biệt cho các khối trong mỗi tensor. Độ chi tiết theo khối nắm bắt phân phối giá trị cục bộ chính xác hơn, giảm lỗi lượng tử hóa 30-50% so với cách tiếp cận theo tensor.¹²

Delayed scaling: Cập nhật hệ số scaling dựa trên thống kê từ các iteration trước thay vì giá trị hiện tại. Cách tiếp cận này tránh các phép toán all-reduce tốn kém trong quá trình huấn luyện trong khi vẫn duy trì độ chính xác hệ số scaling thông qua theo dõi lịch sử.

Độ ổn định huấn luyện đòi hỏi chú ý cẩn thận đến một số yếu tố:¹³

1. Gradient clipping: Gradient FP8 overflow dễ dàng hơn BF16. Gradient clipping mạnh ngăn các cập nhật thảm họa trong các đợt tăng đột biến loss.

2. Learning rate warmup: Các giai đoạn warmup kéo dài cho phép các hệ số scaling ổn định trước khi learning rate cao khuếch đại nhiễu lượng tử hóa.

3. Loss scaling: Dynamic loss scaling ngăn underflow gradient trong backward pass, đặc biệt quan trọng cho biểu diễn gradient E5M2.

4. Tần suất checkpoint: Huấn luyện FP8 có nhiều đợt tăng đột biến loss hơn BF16. Checkpoint thường xuyên cho phép phục hồi mà không mất tiến độ đáng kể.

Benchmark hiệu năng và kết quả thực tế

Các triển khai sản xuất chứng minh lợi ích thực tế của FP8 qua nhiều quy mô mô hình khác nhau:

Cải thiện thông lượng: Huấn luyện FP8 cải thiện tốc độ huấn luyện Llama-3 70B từ 415 TFLOPS (BF16) lên tối đa 570 TFLOPS, đại diện cho cải thiện 37%.¹⁴ Framework COAT của NVIDIA đạt được tăng tốc end-to-end 1.43x so với BF16 trên huấn luyện mô hình lớn.

Giảm bộ nhớ: DeepSeek-V3 và DeepSeek-R1 (671 tỷ tham số) huấn luyện và chạy suy luận bằng FP8, yêu cầu khoảng 700GB cho tham số so với 1.4TB cho BF16.¹⁵ Giảm bộ nhớ 2x cho phép huấn luyện các mô hình lớn hơn trên phần cứng hiện có hoặc giảm kích thước cluster cho các kiến trúc mô hình cố định.

Triển khai doanh nghiệp: iGenius tận dụng FP8 cho continual pretraining của Colosseum 355B, đạt độ chính xác 82.04% trên benchmark MMLU trong khi giảm đáng kể thời gian và chi phí huấn luyện.¹⁶ Kết quả chứng minh tính khả thi của FP8 cho phát triển mô hình quy mô sản xuất.

Tương đương độ chính xác: Huấn luyện FP8 được tinh chỉnh đúng cách đạt độ chính xác trong biên độ nhiễu của baseline BF16. Các nhóm nghiên cứu báo cáo không có suy giảm độ chính xác có ý nghĩa thống kê khi tuân theo các thực hành tốt nhất cho scaling và độ ổn định.¹⁷

Định cỡ hạ tầng cho huấn luyện FP8

Kiến trúc cluster ảnh hưởng đáng kể đến hiệu quả huấn luyện FP8. Các kết nối băng thông cao trở nên quan trọng hơn khi bộ nhớ giảm trên mỗi GPU đòi hỏi giao tiếp thường xuyên hơn cho huấn luyện phân tán.

Huấn luyện một node (đến ~13B tham số): - Hệ thống DGX H200 hoặc tương đương 8-GPU - Tổng bộ nhớ HBM3e 1.128GB - NVLink cho giao tiếp trong node - Phù hợp cho fine-tuning hoặc huấn luyện các mô hình nhỏ hơn

Huấn luyện đa node (13B-200B tham số): - 4-32 node với kết nối InfiniBand HDR/NDR - Băng thông 400-800 Gbps giữa các node - Pipeline và tensor parallelism qua các node - Tầng lưu trữ chuyên dụng cho I/O checkpoint

Huấn luyện quy mô lớn (200B+ tham số): - Cluster 100+ node với fabric InfiniBand full-bisection - Expert parallelism cho kiến trúc MoE - Tối ưu hóa topology giao tiếp phân cấp - Đội ngũ vận hành 24/7 để phục hồi lỗi

Yêu cầu điện và làm mát tăng theo mật độ tính toán. Huấn luyện FP8 giảm tiêu thụ điện 30-50% mỗi FLOP hiệu quả so với BF16, nhưng việc sử dụng cao hơn thường bù đắp khoản tiết kiệm.¹⁸ Làm mát chất lỏng trở nên thiết yếu cho các triển khai Blackwell mật độ cao.

Các tổ chức đánh giá đầu tư hạ tầng FP8 có thể tận dụng chuyên môn triển khai GPU của Introl trên 257 địa điểm toàn cầu, với 550 kỹ sư thực địa có kinh nghiệm trong các cài đặt điện toán hiệu năng cao.

Lộ trình chuyển đổi từ BF16 sang FP8

Chuyển đổi các pipeline huấn luyện hiện có sang FP8 yêu cầu xác nhận có hệ thống:

Giai đoạn 1: Thiết lập baseline Chạy huấn luyện BF16 hiện có để thiết lập baseline độ chính xác và xác định các metric để so sánh. Ghi lại các đường cong loss, điểm đánh giá và đặc tính hội tụ.

Giai đoạn 2: Tích hợp phần mềm Cài đặt Transformer Engine và tích hợp với codebase hiện có. Bắt đầu với xác nhận suy luận FP8 trước khi thử huấn luyện để xác minh tính đúng đắn số học trong môi trường kiểm soát.

Giai đoạn 3: Xác nhận huấn luyện quy mô nhỏ Huấn luyện mô hình thu nhỏ (1/10 tham số) bằng cả BF16 và FP8 để xác minh hội tụ tương đương. Xác định các điều chỉnh hyperparameter cần thiết cho độ ổn định.

Giai đoạn 4: Huấn luyện FP8 quy mô đầy đủ Thực hiện lần huấn luyện sản xuất với giám sát các đợt tăng đột biến loss và suy giảm độ chính xác. Duy trì khả năng fallback BF16 cho các phần thể hiện không ổn định.

Giai đoạn 5: Tối ưu hóa liên tục Profiling huấn luyện để xác định các điểm nghẽn. Tinh chỉnh kích thước batch, gradient accumulation và các pattern giao tiếp để tối đa hóa việc sử dụng FP8.

Blackwell MXFP8 và NVFP4: nhìn về phía trước

Kiến trúc Blackwell giới thiệu microscaling FP8 (MXFP8) như triển khai FP8 tiêu chuẩn, thay thế scaling theo tensor của Hopper bằng scaling theo khối được tăng tốc phần cứng.¹⁹ Việc chuyển đổi yêu cầu các phiên bản Transformer Engine cập nhật nhưng cung cấp độ chính xác được cải thiện mà không cần thay đổi code.

NVFP4 (dấu phẩy động 4-bit) mở rộng việc giảm độ chính xác xa hơn cho các khối lượng công việc suy luận. Blackwell Ultra cung cấp 15 petaflop tính toán NVFP4, giảm footprint bộ nhớ khoảng 1.8x so với FP8 trong khi vẫn duy trì độ chính xác gần FP8 cho nhiều mô hình.²⁰ Huấn luyện bằng FP4 vẫn còn ở giai đoạn thử nghiệm nhưng nghiên cứu vẫn tiếp tục.

Độ chính xác

[Nội dung bị cắt bớt cho dịch thuật]