Xây Dựng Rack GPU 100kW+: Kiến Trúc Phân Phối Điện và Làm Mát
Cập nhật ngày 8 tháng 12 năm 2025
Cập nhật tháng 12/2025: Rack 100kW giờ đây là tiêu chuẩn, không còn là mục tiêu khát vọng. Hệ thống NVIDIA GB200 NVL72 hoạt động ở mức 120kW mỗi rack, với Vera Rubin NVL144 nhắm đến 600kW mỗi rack vào năm 2026. Mật độ rack đã tăng từ 40kW lên 130kW, có khả năng đạt 250kW vào năm 2030. Tỷ lệ áp dụng làm mát bằng chất lỏng đạt 22% các trung tâm dữ liệu, với làm mát trực tiếp đến chip chiếm 47% thị phần. Các tổ chức lên kế hoạch triển khai 100kW ngày nay phải chuẩn bị cho tăng trưởng mật độ gấp 2-5 lần trong tương lai.
Một rack 100kW đơn lẻ tiêu thụ điện năng tương đương 80 hộ gia đình Mỹ, tạo ra nhiệt lượng tương đương 30 lò sưởi dân dụng, và nặng hơn ba chiếc Toyota Camry.¹ Tuy nhiên, các tổ chức trên toàn thế giới đang chạy đua xây dựng những "quái vật" này vì việc huấn luyện AI hiện đại đòi hỏi mật độ tính toán chưa từng có. Những thách thức kỹ thuật phá vỡ mọi giả định đã định hướng thiết kế trung tâm dữ liệu trong ba thập kỷ qua.
Các cơ sở Azure mới nhất của Microsoft triển khai rack 100kW như cấu hình tiêu chuẩn, không phải ngoại lệ thử nghiệm.² CoreWeave xây dựng toàn bộ trung tâm dữ liệu xung quanh thông số rack 120kW.³ Oracle Cloud Infrastructure hướng tới mật độ 150kW trong các vùng thế hệ tiếp theo.⁴ Thiết kế rack truyền thống 5-10kW trông cổ điển khi các tổ chức phát hiện rằng năng lực AI cạnh tranh đòi hỏi mật độ cực cao hoặc diện tích bất động sản cực lớn.
Toán học của hạ tầng AI khiến rack 100kW+ là điều không thể tránh khỏi. Một hệ thống NVIDIA DGX H100 tiêu thụ 10.2kW cho tám GPU.⁵ DGX B200 sắp ra mắt sẽ tiêu thụ 14.3kW mỗi node.⁶ Xếp chồng tám node cho một cụm huấn luyện có ý nghĩa, và mức tiêu thụ điện vượt quá 100kW trước khi tính đến thiết bị mạng. Các tổ chức không thể xây dựng những rack này không thể cạnh tranh trong phát triển mô hình ngôn ngữ lớn, khám phá thuốc, hoặc huấn luyện xe tự hành.
Kiến trúc phân phối điện vượt qua giới hạn thông thường
Các trung tâm dữ liệu truyền thống phân phối điện ba pha 208V qua mạch 30-amp, cung cấp khoảng 10kW mỗi rack sau khi giảm định mức. Một rack 100kW sẽ cần mười mạch riêng biệt, tạo ra cơn ác mộng dây đồng rối như mì Ý vi phạm mọi nguyên tắc thiết kế sạch sẽ. Riêng cường độ dòng điện đã đặt ra thách thức không thể vượt qua: cung cấp 100kW ở 208V đòi hỏi 480 amp, yêu cầu cáp dày như gậy bóng chày.
Các triển khai 100kW hiện đại bắt buộc phải phân phối 415V hoặc 480V để giảm yêu cầu dòng điện. Ở 480V ba pha, 100kW chỉ cần 120 amp mỗi mạch, có thể quản lý được với dây dẫn 4/0 AWG.⁷ Các cơ sở châu Âu có lợi thế nhờ phân phối 415V tiêu chuẩn, giải thích tại sao nhiều hyperscaler ưu tiên triển khai tại Bắc Âu cho hạ tầng mật độ cao. Các cơ sở Bắc Mỹ cần nâng cấp máy biến áp và thay thế tủ đóng cắt, thêm $500,000-1 triệu mỗi megawatt vào chi phí cải tạo.⁸
Các đơn vị phân phối điện (PDU) phát triển thành hệ thống quản lý điện tinh vi cho rack 100kW. Dòng PX4 của Raritan quản lý thông minh 60 ổ cắm cung cấp đến 130kW, với khả năng giám sát từng ổ cắm và chuyển mạch từ xa.⁹ PDU HDOT của Server Technology cung cấp đầu vào 415V với chuyển mạch tự động giữa hai nguồn cấp kép, đảm bảo hoạt động liên tục trong các sự cố điện lưới.¹⁰ Mỗi PDU có giá $15,000-25,000, và hầu hết rack 100kW cần hai cái để dự phòng.
Hệ thống thanh dẫn điện nổi lên như giải pháp thay thế vượt trội so với phân phối cáp truyền thống. Starline Track Busway cung cấp 1,600 amp ở 415V qua các thanh dẫn trên cao, hỗ trợ nhiều điểm cấp nguồn rack 100kW từ một nguồn đơn.¹¹ Chi phí lắp đặt đạt $1,000 mỗi foot tuyến tính, nhưng tính linh hoạt để cấu hình lại các điểm cấp nguồn mà không cần đi dây lại tiết kiệm hàng triệu đô la trong vòng đời cơ sở. Hệ thống thanh dẫn Sentron của Siemens bao gồm giám sát tích hợp theo dõi chất lượng điện và dự đoán yêu cầu bảo trì thông qua phân tích sóng hài.¹²
Phân phối điện một chiều loại bỏ nhiều giai đoạn chuyển đổi lãng phí 10-15% điện năng cung cấp. Lawrence Berkeley National Laboratory đã chứng minh phân phối DC 380V giảm tổng tiêu thụ trung tâm dữ liệu 7% đồng thời cải thiện độ tin cậy.¹³ Thông số Open Compute Project chi tiết phân phối DC 48V trực tiếp đến bo mạch máy chủ, loại bỏ nguồn cung cấp tạo nhiệt và chiếm không gian rack quý giá.¹⁴ Cơ sở Prineville của Facebook chạy hoàn toàn trên phân phối DC, đạt PUE 1.07 mặc dù mật độ tính toán cực cao.¹⁵
Kiến trúc làm mát đòi hỏi chất lỏng đến tận chip
Làm mát bằng không khí trở nên bất khả thi về mặt vật lý trên 50kW mỗi rack. Nhiệt động học không khoan nhượng: loại bỏ 100kW nhiệt đòi hỏi di chuyển 35,000 feet khối mỗi phút (CFM) không khí với độ tăng nhiệt độ 20°F.¹⁶ Luồng không khí đó sẽ tạo ra gió bão trong hành lang lạnh, theo nghĩa đen là thổi bay kỹ thuật viên. Ngay cả khi bạn có thể di chuyển lượng không khí đó, riêng điện năng quạt sẽ tiêu thụ 15-20kW, đánh bại mục tiêu hiệu quả.
Bộ trao đổi nhiệt cửa sau (RDHx) cung cấp làm mát chuyển tiếp cho mật độ 50-75kW. Các đơn vị ChilledDoor của Motivair loại bỏ đến 75kW mỗi rack sử dụng tuần hoàn nước lạnh qua bộ tản nhiệt gắn trên cửa.¹⁷ CHx750 của CoolIT Systems đạt công suất tương tự với quạt tốc độ thay đổi thích ứng với tải nhiệt.¹⁸ Công nghệ hoạt động, nhưng mật độ 100kW+ áp đảo ngay cả những thiết kế RDHx tiên tiến nhất. Chênh lệch nhiệt độ cần thiết sẽ tạo ra rủi ro ngưng tụ đe dọa độ tin cậy thiết bị.
Làm mát bằng chất lỏng trực tiếp đến tấm lạnh trở thành bắt buộc cho triển khai 100kW+ thực sự. InRackCDU của Asetek phân phối chất làm mát ở 25°C trực tiếp đến tấm lạnh CPU và GPU, loại bỏ đến 120kW mỗi rack.¹⁹ Hệ thống duy trì nhiệt độ chip dưới 70°C ngay cả khi tải tối đa, so với 85-90°C với làm mát bằng không khí. Nhiệt độ vận hành thấp hơn giảm dòng rò, cải thiện hiệu quả năng lượng 3-5% ngoài tiết kiệm từ làm mát.²⁰
Làm mát ngâm chìm đại diện cho giải pháp tối ưu cho mật độ cực cao. SmartPodX của Submer ngâm toàn bộ máy chủ trong chất lỏng điện môi, xử lý 100kW chỉ trong 2.4 mét vuông diện tích sàn.²¹ ICEraQ Series 10 của GRC hỗ trợ đến 368kW mỗi bể, mặc dù triển khai thực tế hiếm khi vượt quá 200kW.²² Việc không có quạt loại bỏ 10-15% tiêu thụ điện máy chủ đồng thời giảm tỷ lệ hỏng hóc 70% thông qua loại bỏ các thành phần cơ khí.²³
Làm mát ngâm chìm hai pha đẩy ranh giới xa hơn nữa. Chất lỏng Fluorinert của 3M sôi ở nhiệt độ được kiểm soát chính xác, với sự thay đổi pha hấp thụ lượng nhiệt khổng lồ.²⁴ Hơi bay lên đến bộ ngưng tụ nơi nó trở lại trạng thái lỏng, tạo ra hệ thống tuần hoàn thụ động không cần bơm. Project Natick của Microsoft đã chứng minh làm mát hai pha duy trì nhiệt độ chip ổn định 35°C mặc dù thông lượng nhiệt 250kW/m².²⁵ Công nghệ vẫn còn thử nghiệm, nhưng vật lý cho thấy nó có thể xử lý 500kW+ mỗi rack.
Kỹ thuật kết cấu đối mặt với tải trọng khổng lồ
Một rack 100kW được lắp đầy nặng 6,000-8,000 pound, tập trung chỉ trong 10 feet vuông.²⁶ Sàn nâng tiêu chuẩn được đánh giá cho 250 pound mỗi feet vuông sẽ sụp đổ dưới tải trọng như vậy. Trọng lượng không chỉ là máy chủ: riêng cáp đồng thêm 500-800 pound, chất làm mát thêm 200-300 pound nữa, và bản thân khung rack nặng 500-1,000 pound. Các vùng địa chấn đối mặt thách thức bổ sung khi 8,000 pound khối lượng dao động có thể phá hủy thiết bị lân cận trong động đất.
Triển khai sàn đổ bê tông trực tiếp loại bỏ hạn chế sàn nâng nhưng tạo ra thách thức mới. Bê tông phải được gia cố để xử lý tải trọng 1,000+ PSF với độ võng tối thiểu.²⁷ Bê tông căng sau với cốt thép phủ epoxy ngăn nứt có thể làm ảnh hưởng tính toàn vẹn kết cấu. Độ dày bản sàn tăng lên 12-18 inch, so với 6-8 inch cho trung tâm dữ liệu truyền thống. Riêng công việc móng thêm $50-75 mỗi feet vuông vào chi phí xây dựng.²⁸
Khung thép kết cấu phân bổ tải trọng qua diện tích lớn hơn. Introl thiết kế nền tảng thép tùy chỉnh phân tán tải trọng rack 100kW qua 40 feet vuông, giảm tải trọng điểm xuống mức có thể quản lý. Các khung bao gồm máng cáp tích hợp, ống góp chất làm mát, và sàn bảo trì. Thiết kế mô-đun cho phép lắp đặt mà không cần ngừng hoạt động cơ sở, quan trọng cho các dự án cải tạo. Mỗi khung có giá $25,000-35,000 nhưng ngăn ngừa sàn sụp đổ thảm khốc có thể tốn hàng triệu đô la.
Hệ thống hỗ trợ trên cao loại bỏ hoàn toàn tải trọng sàn. Các trung tâm dữ liệu của Facebook treo máy chủ từ ray gắn trần, với điện và làm mát được cung cấp từ trên.²⁹ Cách tiếp cận này đòi hỏi chiều cao trần 18-20 foot nhưng cho phép truy cập sàn không giới hạn để bảo trì. Hệ thống Evolution Cable Management của Chatsworth Products hỗ trợ 500 pound mỗi foot tuyến tính từ cấu trúc trên cao, đủ cho phân phối điện và chất làm mát nặng nhất.³⁰
Cách ly địa chấn trở nên quan trọng ở các vùng động đất. Nền tảng ISO-Base của WorkSafe Technologies sử dụng cách ly vòng bi để bảo vệ thiết bị trong các sự kiện địa chấn.³¹ Các nền tảng cho phép 12 inch di chuyển ngang trong khi duy trì ổn định dọc. Mỗi nền tảng hỗ trợ 10,000 pound và có giá $15,000-20,000, nhưng các công ty bảo hiểm ngày càng yêu cầu bảo vệ địa chấn cho thiết bị tính toán giá trị cao ở California, Nhật Bản, và các vùng hoạt động khác.
Quản lý cáp nhân lên theo cấp số nhân
Một rack 100kW chứa 64 GPU cần hơn 500 cáp: 128 kết nối InfiniBand, 64 cáp mạng quản lý, 96 cáp nguồn, cộng thêm hàng chục kết nối cảm biến và điều khiển. Riêng mỗi cáp InfiniBand có giá $500-1,500 tùy thuộc vào độ dài và tốc độ dữ liệu.³² Tổng chi phí cáp mỗi rack tiếp cận $100,000, và quản lý kém phá hủy cả luồng không khí và khả năng bảo trì.
Tín hiệu tốc độ cao đòi hỏi định tuyến cáp chính xác để duy trì tính toàn vẹn tín hiệu. InfiniBand HDR chạy ở 200Gbps chịu được chênh lệch độ dài cặp vi sai dưới 3 inch.³³ Bán kính uốn phải vượt quá 10 lần đường kính cáp để ngăn thay đổi trở kháng gây lỗi bit. Introl sử dụng hệ thống đo laser để xác minh độ dài cáp trong dung sai 1mm, ghi lại mọi kết nối để khắc phục sự cố trong tương lai.
Trọng lượng cáp tạo ra thách thức bất ngờ. Năm trăm cáp nặng 2-3 pound mỗi cái thêm 1,000-1,500 pound vào hạ tầng rack. Trọng lượng khiến cửa rack bị võng, làm chúng khó mở. Bộ quản lý cáp dọc phải được gia cố để ngăn sụp đổ. Tủ Net-Verse của Panduit bao gồm quản lý cáp tích hợp được đánh giá cho 2,000 pound, với các ngón tay điều chỉnh được mỗi 1U để duy trì định tuyến đúng.³⁴
Cáp quang giảm trọng lượng nhưng gây lo ngại về độ mỏng manh. Một bộ thu phát quang 400G đơn lẻ có giá $2,000-4,000, và các cáp quang kết nối chúng dễ bị hư hại.³⁵ Bán kính uốn tối thiểu tăng lên 20 lần đường kính cáp cho sợi đơn mode. Kỹ thuật viên cần đào tạo chuyên biệt để xử lý sợi quang mà không gây ra các vết uốn vi mô làm giảm chất lượng tín hiệu. Kết nối sạch trở nên quan trọng vì một hạt bụi đơn lẻ có thể gây mất 50% tín hiệu.
Quản lý vòng đời cáp ngăn ngừa thời gian ngừng hoạt động tốn kém. Mỗi cáp cần tài liệu bao gồm ngày lắp đặt, kết quả kiểm tra, và lịch sử bảo trì. Introl triển khai thẻ RFID trên mỗi cáp, cho phép nhận dạng tức thì với máy quét cầm tay. Cơ sở dữ liệu quản lý cáp của chúng tôi theo dõi 50 triệu kết nối riêng lẻ trên các triển khai toàn cầu. Phân tích dự đoán xác định các cáp sắp hỏng dựa trên vi phạm bán kính uốn, tiếp xúc nhiệt độ, và tuổi thọ.
Kiến trúc dự phòng đảm bảo hoạt động liên tục
Các điểm đơn lỗi trở nên thảm khốc ở quy mô 100kW. Một lỗi PDU sẽ làm sập $5 triệu giá trị GPU. Một lỗi bơm làm mát sẽ gây tắt nhiệt trong vòng 60 giây. Dự phòng N+1 truyền thống chứng minh không đủ khi tác động lỗi nhân lên 10 lần. Các triển khai 100kW hiện đại đòi hỏi dự phòng 2N cho điện và làm mát, chấp nhận 50% công suất bị chiếm dụng như bảo hiểm chống thời gian ngừng hoạt động.
Dự phòng điện bắt đầu từ đầu vào tiện ích với nguồn cấp kép từ các trạm biến áp riêng biệt. Công tắc chuyển mạch tự động (ATS) chuyển đổi liền mạch giữa
[Nội dung bị cắt ngắn để dịch]
