Switch InfiniBand: NVIDIA Quantum-X800 và Thế Hệ XDR Cung Cấp Năng Lượng cho Siêu Máy Tính AI

Cập nhật ngày 11 tháng 12 năm 2025

Cập nhật tháng 12 năm 2025: Thị trường InfiniBand đạt 25,7 tỷ USD vào năm 2025, dự kiến 127 tỷ USD vào năm 2030 (CAGR 38%). Quantum-X800 cung cấp 144 cổng 800Gbps XDR với 14,4 TFLOPS tính toán trong mạng (gấp 9 lần so với NDR). Độ trễ cổng-đến-cổng dưới 100ns. 64.000 hệ thống GB200 của Stargate và siêu cụm quy mô zetta 131.000 GPU của Oracle đang chạy trên InfiniBand.

Doanh số switch InfiniBand tăng vọt trong Q2 2025 khi nền tảng Blackwell Ultra của NVIDIA thúc đẩy nhu cầu về mạng 800Gbps.¹ Thị trường InfiniBand, được định giá 25,74 tỷ USD vào năm 2025, dự kiến tăng trưởng lên 126,99 tỷ USD vào năm 2030 với tốc độ tăng trưởng kép hàng năm 37,60%.² Trong khi Ethernet duy trì vị trí dẫn đầu thị trường tổng thể cho các mạng back-end AI, InfiniBand thống trị các triển khai hiệu suất cao nhất, nơi độ trễ đo bằng hàng trăm nano giây quyết định hiệu quả huấn luyện.

Nền tảng Quantum-X800 đại diện cho câu trả lời của NVIDIA đối với yêu cầu của các mô hình có hàng nghìn tỷ tham số. Với 144 cổng kết nối 800Gbps, 14,4 teraflops tính toán trong mạng thông qua SHARP v4, và độ trễ cổng-đến-cổng dưới 100 nano giây, thế hệ XDR tăng gấp đôi băng thông đồng thời cung cấp khả năng tính toán trong mạng gấp 9 lần so với nền tảng NDR trước đó.³ Các cài đặt lớn bao gồm 64.000 hệ thống GB200 của Stargate và siêu cụm quy mô zetta 131.000 GPU của Oracle đều dựa vào NVIDIA InfiniBand để duy trì sự đồng bộ hóa chặt chẽ mà huấn luyện AI phân tán yêu cầu.⁴

Sự phát triển từ NDR đến XDR

Các thế hệ InfiniBand tiến bộ thông qua các mức tăng tốc độ tiêu chuẩn: QDR (40Gbps), FDR (56Gbps), EDR (100Gbps), HDR (200Gbps), NDR (400Gbps), và bây giờ là XDR (800Gbps).⁵ Mỗi thế hệ tăng gấp đôi băng thông mỗi cổng trong khi vẫn duy trì độ trễ thấp và độ tin cậy cấp phần cứng phân biệt InfiniBand với các giải pháp thay thế Ethernet.

NDR (Next Data Rate) được giới thiệu vào năm 2021 cung cấp các cổng 400Gbps sử dụng bốn làn SerDes mã hóa PAM-4 chạy ở tần số 51,6 GHz.⁶ Các ASIC Quantum-2 cung cấp năng lượng cho các switch NDR có 256 làn SerDes với băng thông một chiều 25,6Tbps, xử lý 66,5 tỷ gói tin mỗi giây trên 64 cổng kết nối 400Gbps.⁷ NDR mang đầu nối OSFP đến InfiniBand, cho phép một hoặc hai liên kết ở cấu hình 2x (NDR200) hoặc 4x (NDR400).⁸

Đặc tả XDR (eXtreme Data Rate) được InfiniBand Trade Association phát hành vào tháng 10 năm 2023 tăng gấp đôi băng thông để đáp ứng nhu cầu trung tâm dữ liệu AI và HPC.⁹ Hỗ trợ SerDes ở 200Gbps mỗi làn cho phép các cổng 800Gbps, với kết nối switch-đến-switch đạt 1,6Tbps.¹⁰ XDR giới thiệu SHARP thế hệ thứ tư, cải thiện độ trễ cực thấp, khả năng tự phục hồi, và tích hợp quang tử silicon.¹¹

Lộ trình tiếp tục hướng tới công nghệ GDR (Giga Data Rate) cung cấp 1,6Tbps mỗi cổng cho các thế hệ tương lai, đảm bảo InfiniBand duy trì vị trí dẫn đầu về hiệu suất.¹²

Kiến trúc nền tảng NVIDIA Quantum-X800

Nền tảng Quantum-X800 cung cấp triển khai InfiniBand XDR đầu tiên, được xây dựng có mục đích cho các mô hình AI quy mô nghìn tỷ tham số.¹³ Switch Q3400-RA 4U tận dụng công nghệ SerDes 200Gbps mỗi làn, là silicon switch đầu tiên đạt cấp tốc độ này.¹⁴

Mật độ cổng mở rộng đáng kể. Switch cung cấp 144 cổng kết nối 800Gbps phân bổ trên 72 khe OSFP.¹⁵ Radix cao cho phép các cấu trúc mạng hiệu quả, với fat-tree hai cấp có khả năng kết nối tối đa 10.368 NIC ConnectX-8 với độ trễ tối thiểu và vị trí công việc tối ưu.¹⁶

Các thông số hiệu suất nhắm vào các khối lượng công việc AI đòi hỏi khắt khe nhất. Độ trễ cổng-đến-cổng đo được dưới 100 nano giây.¹⁷ Định tuyến thích ứng phân phối lưu lượng truy cập động qua các đường dẫn khả dụng. Kiểm soát tắc nghẽn dựa trên đo lường từ xa ngăn chặn bão hòa mạng trước khi nó ảnh hưởng đến việc sử dụng GPU.¹⁸

Các vỏ switch kép trong các mẫu như Q3200-RA cung cấp 72 cổng 800Gbps với băng thông switch-đến-switch tổng hợp 1,6Tbps, cho phép các cấu trúc spine-leaf mà các cụm AI lớn yêu cầu.¹⁹ Khả năng bộ định tuyến tùy chọn tạo điều kiện mở rộng các cụm InfiniBand qua nhiều địa điểm, hỗ trợ các môi trường huấn luyện phân tán trải dài qua các vị trí địa lý.²⁰

Tính toán trong mạng SHARP loại bỏ các điểm nghẽn

Giao thức Tổng hợp và Giảm thiểu Phân cấp Có thể Mở rộng (SHARP) của NVIDIA đại diện cho lợi thế công nghệ xác định của InfiniBand so với các giải pháp thay thế Ethernet. Bằng cách chuyển các hoạt động tập thể như all-reduce và broadcast sang các switch mạng, SHARP giảm đáng kể khối lượng truyền dữ liệu và giảm thiểu jitter máy chủ trong quá trình huấn luyện phân tán.²¹

Sự phát triển qua bốn thế hệ đã mở rộng dần khả năng của SHARP:

SHARPv1 tập trung vào các hoạt động giảm tin nhắn nhỏ cho tính toán khoa học, thể hiện cải thiện hiệu suất đáng kể được áp dụng bởi các thư viện MPI hàng đầu.²²

SHARPv2 được giới thiệu với các switch Quantum HDR 200Gbps đã thêm hỗ trợ khối lượng công việc AI bao gồm các hoạt động giảm tin nhắn lớn. Các benchmark cho thấy cải thiện 17% trong hiệu suất huấn luyện BERT.²³

SHARPv3 cho phép tính toán trong mạng đa người thuê, cho phép nhiều khối lượng công việc AI tận dụng khả năng SHARP đồng thời. Microsoft Azure đã trình diễn lợi ích hiệu suất gần một bậc độ lớn cho độ trễ AllReduce khi sử dụng thế hệ này.²⁴

SHARPv4 đi kèm tiêu chuẩn với các switch Quantum-X800 và Quantum-X Photonics, cho phép tổng hợp và giảm thiểu trong mạng giảm thiểu chi phí giao tiếp GPU-đến-GPU.²⁵ Kết hợp với hỗ trợ độ chính xác FP8, SHARP v4 tăng tốc huấn luyện các mô hình nghìn tỷ tham số bằng cách giảm cả nhu cầu băng thông và tính toán, mang lại sự hội tụ nhanh hơn và thông lượng cao hơn.²⁶

Công nghệ này tích hợp với NVIDIA Collective Communication Library (NCCL), cho phép các framework huấn luyện AI phân tán tận dụng SHARP tự động. Các nhà cung cấp dịch vụ báo cáo cải thiện hiệu suất 10-20% cho khối lượng công việc AI thông qua tích hợp SHARP.²⁷ Các switch mạng thực hiện tổng hợp và giảm thiểu trực tiếp, bỏ qua CPU và GPU cho các tác vụ này trong khi tăng gấp đôi băng thông AllReduce so với các cấu hình không có SHARP.²⁸

ConnectX-8 SuperNIC cung cấp điểm cuối 800Gbps

Nền tảng Quantum-X800 kết hợp với các adapter ConnectX-8 SuperNIC để đạt thông lượng 800Gbps end-to-end.²⁹ C8180 đại diện cho SuperNIC giao thức kép 800Gbps đầu tiên của NVIDIA hỗ trợ cả InfiniBand và Ethernet, được thiết kế cho các cụm tính toán hiệu năng cao AI, mạng siêu máy tính, và kiến trúc trung tâm dữ liệu thế hệ tiếp theo.³⁰

Các thông số kỹ thuật đẩy khả năng adapter tiến về phía trước đáng kể. Giao diện OSFP một cổng cung cấp 800Gbps XDR InfiniBand hoặc hai cổng Ethernet 400Gbps.³¹ Kết nối PCIe Gen6 x16 cung cấp băng thông giao diện máy chủ phù hợp với tốc độ mạng.³² Tự động thương lượng hỗ trợ khả năng tương thích ngược qua các tốc độ InfiniBand XDR, NDR, NDR200, HDR, HDR100, EDR, FDR, và SDR.³³

Các đổi mới kiến trúc mở rộng vượt ra ngoài băng thông thô. ConnectX-8 tích hợp hỗ trợ PCIe Gen6 gốc với fabric chuyển mạch PCIe trên bo mạch, loại bỏ yêu cầu switch PCIe bên ngoài.³⁴ Adapter chứa 48 làn PCIe Gen6 phía sau giao diện đầu nối x16.³⁵ Hỗ trợ SHARP gốc tăng tốc các hoạt động tổng hợp và giảm thiểu trực tiếp trong phần cứng adapter.³⁶

Công nghệ Socket Direct giải quyết kiến trúc máy chủ hai socket. Truy cập trực tiếp từ mỗi CPU đến mạng thông qua các giao diện PCIe chuyên dụng cải thiện hiệu suất trong các hệ thống mà cấu trúc CPU-đến-mạng ảnh hưởng đến độ trễ.³⁷ GB300 NVL72 đại diện cho triển khai đầu tiên của khả năng PCIe Gen6 SuperNIC, kết nối với CPU Grace ở tốc độ Gen5 trong khi duy trì các liên kết Gen6 đến GPU B300.³⁸

Unified Fabric Manager điều phối quy mô lớn

Nền tảng UFM cách mạng hóa quản lý fabric InfiniBand bằng cách kết hợp đo lường từ xa mạng thời gian thực với phân tích được hỗ trợ bởi AI.³⁹ Giải pháp dựa trên máy chủ cung cấp khả năng hiển thị hoàn toàn về quản lý fabric, định tuyến, cung cấp, và khắc phục sự cố.

Kiến trúc UFM bao gồm nhiều thành phần. UFM Server duy trì khả năng hiển thị fabric hoàn toàn và quản lý định tuyến trên tất cả các thiết bị. Các Thiết bị Chuyển mạch được Quản lý bao gồm các switch fabric, gateway, và router dưới sự kiểm soát của UFM. Các UFM Host Agent tùy chọn trên các nút tính toán cung cấp dữ liệu máy chủ cục bộ và chức năng quản lý thiết bị.⁴⁰

Ba cấp nền tảng giải quyết các yêu cầu vận hành khác nhau:

UFM Telemetry thu thập hơn 120 bộ đếm duy nhất mỗi cổng bao gồm tỷ lệ lỗi bit, nhiệt độ, histogram, và truyền lại.⁴¹ Dữ liệu cho phép dự đoán các cáp biên trước khi lỗi ảnh hưởng đến khối lượng công việc sản xuất.

UFM Enterprise thêm giám sát mạng, quản lý, tối ưu hóa khối lượng công việc, và xác nhận cấu hình định kỳ.⁴² Tích hợp bộ lập lịch công việc với Slurm và Platform LSF cho phép cung cấp mạng tự động phù hợp với lập lịch khối lượng công việc. Các tích hợp OpenStack và Azure hỗ trợ các mô hình triển khai đám mây.⁴³

UFM Cyber-AI cung cấp khả năng bảo trì phòng ngừa và an ninh mạng để giảm chi phí vận hành siêu máy tính.⁴⁴ Triển khai thiết bị chuyên dụng cho phép phân tích fabric được hỗ trợ bởi AI tại chỗ.

UFM SDK cung cấp các tích hợp bên thứ ba mở rộng bao gồm các plug-in Grafana, FluentD, Zabbix, và Slurm thông qua truy cập REST API.⁴⁵ Các dự án mã nguồn mở cho phép tích hợp SLURM để giám sát băng thông mạng, tắc nghẽn, lỗi, và sử dụng tài nguyên trên các nút tính toán công việc.

Các triển khai siêu máy tính lớn xác nhận nền tảng

Các hệ thống AI lớn nhất thế giới tiêu chuẩn hóa trên mạng NVIDIA InfiniBand. Các triển khai hiện tại và dự kiến chứng minh khả năng nền tảng Quantum ở quy mô lớn.

Trung tâm Dữ liệu AI Stargate bắt đầu cài đặt 64.000 hệ thống GB200 vào tháng 3 năm 2025, được kết nối bởi InfiniBand 800Gbps cho các dịch vụ AI đa exaflop.⁴⁶ Triển khai này đại diện cho một trong những triển khai XDR quy mô lớn đầu tiên.

xAI Colossus vận hành 100.000 GPU H100 sử dụng các switch Quantum-2, duy trì độ trễ trường hợp xấu nhất 850 nano giây trên ba tầng mạng.⁴⁷ Cụm Memphis huấn luyện họ mô hình ngôn ngữ lớn Grok của xAI.

Siêu cụm Quy mô Zetta của Oracle dự kiến 131.000 GPU GB200 được kết nối thông qua fabric Quantum InfiniBand, thể hiện cam kết của nhà cung cấp đám mây đối với InfiniBand cho cơ sở hạ tầng AI hiệu suất tối đa.⁴⁸

El Capitan tại Phòng thí nghiệm Quốc gia Lawrence Livermore sẽ vượt qua 2 exaflops sử dụng InfiniBand 200Gbps, cho thấy sự phù hợp liên tục của mạng cấp NDR cho tính toán khoa học.⁴⁹

JUPITER (250 triệu EUR) và Blue Lion (250 triệu EUR) ở châu Âu đã chọn các fabric Quantum-2 đáp ứng các yêu cầu hiệu quả năng lượng nghiêm ngặt trong khi cung cấp hiệu suất mà các khối lượng công việc khoa học yêu cầu.⁵⁰

Doanh thu mạng NVIDIA đạt 10 tỷ USD hàng năm, gần như tất cả liên quan đến các fabric InfiniBand cung cấp năng lượng cho các đám mây AI thương mại.⁵¹ Microsoft Azure và Oracle Cloud Infrastructure đại diện cho những người áp dụng Quantum InfiniBand ban đầu trong số các nhà cung cấp hyperscale.⁵²

Định vị InfiniBand so với Ethernet

Động lực thị trường phản ánh định vị riêng biệt cho mỗi công nghệ. Khi Dell'Oro Group bắt đầu theo dõi mạng back-end AI vào cuối năm 2023, InfiniBand nắm giữ hơn 80% thị phần.⁵³ Ethernet đã giành được vị thế kể từ đó thông qua việc áp dụng của hyperscaler và lợi thế chi phí, duy trì vị trí dẫn đầu thị trường tổng thể vào năm 2025.⁵⁴

Các đặc tính hiệu suất phân biệt các công nghệ. InfiniBand cung cấp độ trễ dưới micro giây thông qua RDMA được tăng tốc phần cứng và tính toán trong mạng. Ethernet đạt thông lượng cạnh tranh khi được cấu hình đúng với RoCE, nhưng yêu cầu cấu hình mạng lossless cẩn thận và thiếu khả năng tính toán trong mạng tương đương.

Cấu trúc chi phí ưu tiên Ethernet cho nhiều triển khai. Các công ty tier 2 và tier 3 triển khai các cụm 256-1.024 GPU thường thấy Ethernet với RoCE cung cấp hiệu suất chấp nhận được với chi phí mạng khoảng một nửa.⁵⁵ Đề xuất giá trị của InfiniBand mạnh hơn ở quy mô lớn hơn, nơi tính toán trong mạng SHARP và giới hạn độ trễ chặt chẽ hơn chuyển đổi

[Nội dung bị cắt ngắn để dịch]