การสร้าง GPU Rack 100kW+: สถาปัตยกรรมการจ่ายไฟและระบบระบายความร้อน

อัปเดต 8 ธันวาคม 2025

อัปเดตธันวาคม 2025: Rack ขนาด 100kW กลายเป็นมาตรฐานแล้ว ไม่ใช่แค่เป้าหมายอีกต่อไป ระบบ NVIDIA GB200 NVL72 ทำงานที่ 120kW ต่อ rack ในขณะที่ Vera Rubin NVL144 ตั้งเป้า 600kW ต่อ rack ภายในปี 2026 ความหนาแน่นของ rack เพิ่มขึ้นจาก 40kW เป็น 130kW และอาจถึง 250kW ภายในปี 2030 การใช้งานระบบระบายความร้อนด้วยของเหลวเพิ่มขึ้นถึง 22% ของศูนย์ข้อมูล โดยระบบ direct-to-chip ครองส่วนแบ่งตลาด 47% องค์กรที่วางแผนติดตั้งระบบ 100kW ในปัจจุบันต้องเตรียมพร้อมสำหรับการเติบโตของความหนาแน่น 2-5 เท่า

Rack ขนาด 100kW เพียงตู้เดียวใช้ไฟฟ้าเท่ากับบ้านในอเมริกา 80 หลัง สร้างความร้อนเทียบเท่าเตาเผาในบ้าน 30 เครื่อง และมีน้ำหนักมากกว่ารถ Toyota Camry สามคัน¹ แต่องค์กรทั่วโลกต่างแข่งขันกันสร้างอสูรเหล่านี้ เพราะการฝึก AI สมัยใหม่ต้องการความหนาแน่นในการประมวลผลที่ไม่เคยมีมาก่อน ความท้าทายทางวิศวกรรมทำลายทุกสมมติฐานที่เคยเป็นแนวทางการออกแบบศูนย์ข้อมูลตลอดสามทศวรรษที่ผ่านมา

สิ่งอำนวยความสะดวก Azure ล่าสุดของ Microsoft ติดตั้ง rack ขนาด 100kW เป็นการกำหนดค่ามาตรฐาน ไม่ใช่การทดลอง² CoreWeave สร้างศูนย์ข้อมูลทั้งหมดรอบข้อกำหนด rack 120kW³ Oracle Cloud Infrastructure ผลักดันความหนาแน่นไปสู่ 150kW ในภูมิภาคยุคใหม่⁴ การออกแบบ rack แบบดั้งเดิม 5-10kW ดูล้าสมัยเมื่อองค์กรต่างๆ ค้นพบว่าความสามารถ AI ที่แข่งขันได้ต้องการความหนาแน่นสูงสุดหรือพื้นที่อสังหาริมทรัพย์ขนาดใหญ่

คณิตศาสตร์ของโครงสร้างพื้นฐาน AI ทำให้ rack 100kW+ เป็นสิ่งที่หลีกเลี่ยงไม่ได้ ระบบ NVIDIA DGX H100 ใช้ไฟ 10.2kW สำหรับ GPU แปดตัว⁵ DGX B200 ที่กำลังจะมาถึงจะใช้ 14.3kW ต่อ node⁶ วาง node แปดตัวสำหรับ cluster การฝึกที่มีความหมาย และการใช้พลังงานจะเกิน 100kW ก่อนที่จะรวมอุปกรณ์เครือข่าย องค์กรที่ไม่สามารถสร้าง rack เหล่านี้ไม่สามารถแข่งขันในการพัฒนา large language model การค้นพบยา หรือการฝึกยานยนต์ไร้คนขับ

สถาปัตยกรรมการจ่ายไฟทำลายขีดจำกัดเดิม

ศูนย์ข้อมูลแบบดั้งเดิมจ่ายไฟ 208V สามเฟสผ่านวงจร 30 แอมป์ ส่งมอบประมาณ 10kW ต่อ rack หลังจากหักค่า derating Rack ขนาด 100kW จะต้องใช้วงจรแยกสิบวงจร สร้างฝันร้ายสายทองแดงยุ่งเหยิงที่ละเมิดทุกหลักการของการออกแบบที่สะอาด กระแสไฟเพียงอย่างเดียวก็เป็นความท้าทายที่แก้ไม่ได้: การส่งมอบ 100kW ที่ 208V ต้องการ 480 แอมป์ ซึ่งต้องใช้สายที่หนากว่าไม้เบสบอล

การติดตั้ง 100kW สมัยใหม่กำหนดให้ใช้ระบบจ่ายไฟ 415V หรือ 480V เพื่อลดความต้องการกระแสไฟ ที่ 480V สามเฟส 100kW ต้องการเพียง 120 แอมป์ต่อวงจร จัดการได้ด้วยสาย 4/0 AWG⁷ สิ่งอำนวยความสะดวกในยุโรปได้เปรียบผ่านการจ่ายไฟมาตรฐาน 415V ซึ่งอธิบายว่าทำไม hyperscaler หลายรายจึงให้ความสำคัญกับการติดตั้งในนอร์ดิกสำหรับโครงสร้างพื้นฐานความหนาแน่นสูง สิ่งอำนวยความสะดวกในอเมริกาเหนือต้องการการอัพเกรดหม้อแปลงและการเปลี่ยน switchgear เพิ่มค่าใช้จ่าย $500,000-$1 ล้านต่อเมกะวัตต์สำหรับการปรับปรุง⁸

Power distribution units (PDUs) พัฒนาเป็นระบบจัดการพลังงานที่ซับซ้อนสำหรับ rack 100kW ซีรีส์ PX4 ของ Raritan จัดการ outlet 60 ช่องอย่างชาญฉลาด ส่งมอบได้ถึง 130kW พร้อมการตรวจสอบและการสลับระยะไกลต่อ outlet⁹ PDU แบบ HDOT ของ Server Technology ให้ input 415V พร้อมการสลับโอนอัตโนมัติระหว่าง dual feed รับประกันการทำงานต่อเนื่องระหว่างเหตุการณ์ไฟฟ้า¹⁰ PDU แต่ละตัวมีราคา $15,000-25,000 และ rack 100kW ส่วนใหญ่ต้องการสองตัวสำหรับ redundancy

ระบบ busway กลายเป็นทางเลือกที่ดีกว่าการจ่ายสายแบบดั้งเดิม Starline Track Busway ส่งมอบ 1,600 แอมป์ที่ 415V ผ่านตัวนำเหนือศีรษะ รองรับการจ่ายไฟ rack 100kW หลายตัวจาก feed เดียว¹¹ ค่าติดตั้งถึง $1,000 ต่อฟุตเชิงเส้น แต่ความยืดหยุ่นในการกำหนดค่าจุดจ่ายไฟใหม่โดยไม่ต้องเดินสายใหม่ช่วยประหยัดเงินหลายล้านตลอดอายุการใช้งานของสิ่งอำนวยความสะดวก ระบบ busway Sentron ของ Siemens รวมการตรวจสอบแบบบูรณาการที่ติดตามคุณภาพไฟฟ้าและคาดการณ์ความต้องการบำรุงรักษาผ่านการวิเคราะห์ฮาร์มอนิก¹²

การจ่ายไฟกระแสตรงกำจัดขั้นตอนการแปลงหลายขั้นตอนที่สูญเสียพลังงาน 10-15% Lawrence Berkeley National Laboratory แสดงให้เห็นว่าการจ่ายไฟ DC 380V ลดการใช้พลังงานศูนย์ข้อมูลทั้งหมด 7% พร้อมปรับปรุงความน่าเชื่อถือ¹³ ข้อกำหนด Open Compute Project ให้รายละเอียดการจ่ายไฟ DC 48V โดยตรงไปยังแผงเซิร์ฟเวอร์ กำจัด power supply ที่สร้างความร้อนและครอบครองพื้นที่ rack ที่มีค่า¹⁴ สิ่งอำนวยความสะดวก Prineville ของ Facebook ทำงานทั้งหมดด้วยการจ่ายไฟ DC บรรลุ PUE 1.07 แม้จะมีความหนาแน่นในการประมวลผลสูงมาก¹⁵

สถาปัตยกรรมระบบระบายความร้อนต้องการของเหลวที่ชิป

การระบายความร้อนด้วยอากาศกลายเป็นไปไม่ได้ทางกายภาพเหนือ 50kW ต่อ rack อุณหพลศาสตร์ไม่ให้อภัย: การระบายความร้อน 100kW ต้องการการเคลื่อนย้ายอากาศ 35,000 ลูกบาศก์ฟุตต่อนาที (CFM) ด้วยการเพิ่มอุณหภูมิ 20°F¹⁶ การไหลของอากาศนั้นจะสร้างลมแรงเท่าพายุเฮอริเคนในทางเดินเย็น พัดช่างเทคนิคล้มจริงๆ แม้ว่าคุณจะเคลื่อนย้ายอากาศได้มากขนาดนั้น พลังงานพัดลมเพียงอย่างเดียวก็จะใช้ 15-20kW ทำลายเป้าหมายประสิทธิภาพ

Rear-door heat exchangers (RDHx) ให้การระบายความร้อนช่วงเปลี่ยนผ่านสำหรับความหนาแน่น 50-75kW หน่วย ChilledDoor ของ Motivair ระบายได้ถึง 75kW ต่อ rack โดยใช้การหมุนเวียนน้ำเย็นผ่าน radiator ที่ติดตั้งที่ประตู¹⁷ CHx750 ของ CoolIT Systems บรรลุความจุที่คล้ายกันด้วยพัดลมความเร็วปรับได้ที่ปรับตามภาระความร้อน¹⁸ เทคโนโลยีใช้งานได้ แต่ความหนาแน่น 100kW+ ทำให้แม้แต่ RDHx ที่ล้ำหน้าที่สุดก็รับมือไม่ไหว ความแตกต่างของอุณหภูมิที่ต้องการจะสร้างความเสี่ยงการควบแน่นที่คุกคามความน่าเชื่อถือของอุปกรณ์

การระบายความร้อนด้วยของเหลวโดยตรงไปยัง cold plate กลายเป็นสิ่งจำเป็นสำหรับการติดตั้ง 100kW+ จริง InRackCDU ของ Asetek กระจายน้ำหล่อเย็นที่ 25°C โดยตรงไปยัง cold plate ของ CPU และ GPU ระบายได้ถึง 120kW ต่อ rack¹⁹ ระบบรักษาอุณหภูมิชิปต่ำกว่า 70°C แม้ที่ภาระสูงสุด เทียบกับ 85-90°C ด้วยการระบายความร้อนด้วยอากาศ อุณหภูมิทำงานที่ต่ำกว่าลดกระแสรั่วไหล ปรับปรุงประสิทธิภาพพลังงาน 3-5% นอกเหนือจากการประหยัดจากการระบายความร้อน²⁰

การระบายความร้อนแบบจุ่มแช่เป็นทางออกสุดท้ายสำหรับความหนาแน่นสูงสุด SmartPodX ของ Submer จุ่มเซิร์ฟเวอร์ทั้งหมดในของเหลว dielectric รองรับ 100kW ในพื้นที่เพียง 2.4 ตารางเมตร²¹ ICEraQ Series 10 ของ GRC รองรับได้ถึง 368kW ต่อถัง แม้ว่าการติดตั้งจริงจะไม่ค่อยเกิน 200kW²² การไม่มีพัดลมกำจัดการใช้พลังงานเซิร์ฟเวอร์ 10-15% พร้อมลดอัตราความล้มเหลว 70% ผ่านการกำจัดส่วนประกอบเชิงกล²³

การระบายความร้อนแบบจุ่มแช่สองเฟสผลักดันขอบเขตไปอีก ของเหลว Fluorinert ของ 3M เดือดที่อุณหภูมิควบคุมอย่างแม่นยำ โดยการเปลี่ยนเฟสดูดซับปริมาณความร้อนมหาศาล²⁴ ไอลอยขึ้นไปยังคอนเดนเซอร์ซึ่งกลับสู่สถานะของเหลว สร้างระบบหมุนเวียนแบบ passive ที่ไม่ต้องการปั๊ม Project Natick ของ Microsoft แสดงให้เห็นการระบายความร้อนสองเฟสรักษาอุณหภูมิชิปคงที่ 35°C แม้จะมี heat flux 250kW/m²²⁵ เทคโนโลยียังคงเป็นการทดลอง แต่ฟิสิกส์บ่งชี้ว่าสามารถรองรับ 500kW+ ต่อ rack

วิศวกรรมโครงสร้างเผชิญกับภาระมหาศาล

Rack ขนาด 100kW ที่บรรจุเต็มมีน้ำหนัก 6,000-8,000 ปอนด์ กระจุกตัวในพื้นที่เพียง 10 ตารางฟุต²⁶ พื้นยกมาตรฐานที่รองรับ 250 ปอนด์ต่อตารางฟุตจะพังทลายภายใต้ภาระดังกล่าว น้ำหนักไม่ใช่แค่เซิร์ฟเวอร์: สายทองแดงเพียงอย่างเดียวเพิ่ม 500-800 ปอนด์ น้ำหล่อเย็นเพิ่มอีก 200-300 ปอนด์ และโครงสร้าง rack เองมีน้ำหนัก 500-1,000 ปอนด์ เขตแผ่นดินไหวเผชิญความท้าทายเพิ่มเติมเนื่องจากมวล 8,000 ปอนด์ที่โยกเยกสามารถทำลายอุปกรณ์ข้างเคียงระหว่างแผ่นดินไหว

การติดตั้งแบบพื้นคอนกรีตบนพื้นดินกำจัดข้อจำกัดของพื้นยก แต่สร้างความท้าทายใหม่ คอนกรีตต้องเสริมแรงเพื่อรองรับภาระ 1,000+ PSF ด้วยการโก่งตัวน้อยที่สุด²⁷ คอนกรีต post-tensioned พร้อมเหล็กเส้นเคลือบ epoxy ป้องกันการแตกร้าวที่อาจทำลายความสมบูรณ์ของโครงสร้าง ความหนาของพื้นเพิ่มขึ้นเป็น 12-18 นิ้ว เทียบกับ 6-8 นิ้วสำหรับศูนย์ข้อมูลแบบดั้งเดิม งานฐานรากเพียงอย่างเดียวเพิ่มค่าใช้จ่าย $50-75 ต่อตารางฟุตให้กับค่าก่อสร้าง²⁸

โครงเหล็กโครงสร้างกระจายภาระข้ามพื้นที่ขนาดใหญ่กว่า Introl ออกแบบแพลตฟอร์มเหล็กแบบกำหนดเองที่กระจายภาระ rack 100kW ข้าม 40 ตารางฟุต ลดภาระจุดลงสู่ระดับที่จัดการได้ โครงสร้างรวมถึง cable tray แบบบูรณาการ manifold น้ำหล่อเย็น และแพลตฟอร์มบำรุงรักษา การออกแบบแบบ modular ช่วยให้ติดตั้งได้โดยไม่มี downtime สำคัญสำหรับโครงการปรับปรุง แต่ละโครงสร้างมีราคา $25,000-35,000 แต่ป้องกันความล้มเหลวของพื้นอย่างรุนแรงที่จะมีค่าใช้จ่ายหลายล้าน

ระบบรองรับเหนือศีรษะกำจัดภาระพื้นทั้งหมด ศูนย์ข้อมูลของ Facebook แขวนเซิร์ฟเวอร์จากรางที่ติดตั้งจากเพดาน โดยไฟฟ้าและการระบายความร้อนส่งมอบจากด้านบน²⁹ แนวทางนี้ต้องการความสูงเพดาน 18-20 ฟุต แต่ช่วยให้เข้าถึงพื้นได้ไม่จำกัดสำหรับการบำรุงรักษา ระบบ Evolution Cable Management ของ Chatsworth Products รองรับ 500 ปอนด์ต่อฟุตเชิงเส้นจากโครงสร้างเหนือศีรษะ เพียงพอสำหรับการจ่ายไฟและน้ำหล่อเย็นที่หนักที่สุด³⁰

การแยกแรงสั่นสะเทือนกลายเป็นสิ่งสำคัญในเขตแผ่นดินไหว แพลตฟอร์ม ISO-Base ของ WorkSafe Technologies ใช้การแยกตลับลูกปืนเพื่อปกป้องอุปกรณ์ระหว่างเหตุการณ์แผ่นดินไหว³¹ แพลตฟอร์มอนุญาตให้เคลื่อนที่ในแนวนอน 12 นิ้วในขณะที่รักษาเสถียรภาพในแนวตั้ง แต่ละแพลตฟอร์มรองรับ 10,000 ปอนด์และมีราคา $15,000-20,000 แต่บริษัทประกันภัยต้องการการป้องกันแผ่นดินไหวมากขึ้นสำหรับอุปกรณ์คอมพิวเตอร์มูลค่าสูงในแคลิฟอร์เนีย ญี่ปุ่น และเขตที่มีความเคลื่อนไหวอื่นๆ

การจัดการสายเคเบิลเพิ่มขึ้นเป็นทวีคูณ

Rack ขนาด 100kW ที่โฮสต์ GPU 64 ตัวต้องการสายมากกว่า 500 เส้น: การเชื่อมต่อ InfiniBand 128 เส้น สายเครือข่ายจัดการ 64 เส้น สายไฟ 96 เส้น รวมถึงการเชื่อมต่อเซ็นเซอร์และควบคุมอีกหลายสิบเส้น สาย InfiniBand แต่ละเส้นมีราคา $500-1,500 ขึ้นอยู่กับความยาวและอัตราข้อมูล³² ค่าสายทั้งหมดต่อ rack ใกล้ $100,000 และการจัดการที่ไม่ดีทำลายทั้งการไหลของอากาศและความสามารถในการซ่อมบำรุง

สัญญาณความเร็วสูงต้องการการเดินสายที่แม่นยำเพื่อรักษาความสมบูรณ์ของสัญญาณ InfiniBand HDR ที่ทำงานที่ 200Gbps ทนได้ไม่เกิน 3 นิ้วของความยาว differential pair ที่ไม่ตรงกัน³³ รัศมีการโค้งงอต้องเกิน 10 เท่าของเส้นผ่านศูนย์กลางสายเพื่อป้องกันการเปลี่ยนแปลง impedance ที่ทำให้เกิด bit error Introl ใช้ระบบวัดเลเซอร์เพื่อตรวจสอบความยาวสายภายในความคลาดเคลื่อน 1mm บันทึกทุกการเชื่อมต่อสำหรับการแก้ไขปัญหาในอนาคต

น้ำหนักสายสร้างความท้าทายที่ไม่คาดคิด สาย 500 เส้นที่มีน้ำหนัก 2-3 ปอนด์แต่ละเส้นเพิ่ม 1,000-1,500 ปอนด์ให้กับโครงสร้าง rack น้ำหนักทำให้ประตู rack ห้อยลง ทำให้เปิดยาก ตัวจัดการสายแนวตั้งต้องเสริมแรงเพื่อป้องกันการพังทลาย ตู้ Net-Verse ของ Panduit รวมการจัดการสายแบบบูรณาการที่รองรับ 2,000 ปอนด์ พร้อม finger ปรับได้ทุก 1U เพื่อรักษาการเดินสายที่เหมาะสม³⁴

สายไฟเบอร์ออปติกลดน้ำหนักแต่แนะนำความกังวลเรื่องความเปราะบาง optical transceiver 400G ตัวเดียวมีราคา $2,000-4,000 และสายไฟเบอร์ที่เชื่อมต่อเสียหายได้ง่าย³⁵ รัศมีการโค้งงอขั้นต่ำเพิ่มขึ้นเป็น 20 เท่าของเส้นผ่านศูนย์กลางสายสำหรับไฟเบอร์ single-mode ช่างเทคนิคต้องการการฝึกอบรมเฉพาะทางเพื่อจัดการไฟเบอร์โดยไม่ทำให้เกิด microbend ที่ลดคุณภาพสัญญาณ การเชื่อมต่อที่สะอาดกลายเป็นสิ่งสำคัญเนื่องจากอนุภาคฝุ่นเพียงอนุภาคเดียวสามารถทำให้สัญญาณสูญเสีย 50%

การจัดการวงจรชีวิตสายป้องกัน downtime ที่แพง สายทุกเส้นต้องมีเอกสารรวมถึงวันที่ติดตั้ง ผลการทดสอบ และประวัติการบำรุงรักษา Introl ติดตั้ง RFID tag บนสายทุกเส้น ช่วยให้ระบุได้ทันทีด้วยเครื่องสแกนมือถือ ฐานข้อมูลการจัดการสายของเราติดตามการเชื่อมต่อเดี่ยว 50 ล้านรายการทั่วการติดตั้งทั่วโลก การวิเคราะห์เชิงคาดการณ์ระบุสายที่ใกล้จะล้มเหลวตามการละเมิดรัศมีการโค้งงอ การสัมผัสอุณหภูมิ และอายุ

สถาปัตยกรรม redundancy รับประกันการทำงานต่อเนื่อง

จุดล้มเหลวเดี่ยวกลายเป็นหายนะที่ระดับ 100kW ความล้มเหลวของ PDU จะทำให้ GPU มูลค่า $5 ล้านล่ม ความล้มเหลวของปั๊มระบายความร้อนจะทำให้เกิดการปิดตัวเนื่องจากความร้อนภายใน 60 วินาที redundancy แบบ N+1 แบบดั้งเดิมพิสูจน์แล้วว่าไม่เพียงพอเมื่อผลกระทบจากความล้มเหลวเพิ่มขึ้น 10 เท่า การติดตั้ง 100kW สมัยใหม่ต้องการ redundancy แบบ 2N สำหรับไฟฟ้าและการระบายความร้อน ยอมรับความจุที่ค้าง 50% เป็นประกันภัยต่อ downtime

redundancy ด้านไฟฟ้าเริ่มต้นที่ทางเข้าไฟฟ้าสาธารณูปโภคด้วย dual feed จาก substation แยก Automatic transfer switches (ATS) เปลี่ยนผ่านอย่างราบรื่นระหว่าง

[เนื้อหาถูกตัดสำหรับการแปล]