แร็คความหนาแน่นสูง: การออกแบบ 100kW+ สำหรับโครงสร้างพื้นฐานศูนย์ข้อมูล AI

อัปเดต 11 ธันวาคม 2025

อัปเดตธันวาคม 2025: แร็ค AI เฉลี่ยมีราคา 3.9 ล้านดอลลาร์ในปี 2025 เทียบกับ 500,000 ดอลลาร์สำหรับแร็คเซิร์ฟเวอร์แบบดั้งเดิม—เพิ่มขึ้น 7 เท่า แร็ค GB200NVL72 ใช้พลังงานถึง 132kW; Blackwell Ultra และ Rubin ตั้งเป้า 250-900kW พร้อม GPU 576 ตัว/แร็คภายในปี 2026-2027 NVIDIA เปิดตัวการออกแบบแร็ค 1MW ที่งาน OCP 2025 Eaton Heavy-Duty SmartRack รองรับน้ำหนักคงที่ 5,000 ปอนด์สำหรับ AI การสร้างโครงสร้างพื้นฐาน 100kW มีต้นทุน 200,000-300,000 ดอลลาร์/แร็ค

แร็ค AI เฉลี่ยจะมีราคา 3.9 ล้านดอลลาร์ในปี 2025 เทียบกับ 500,000 ดอลลาร์สำหรับแร็คเซิร์ฟเวอร์แบบดั้งเดิม¹ การเพิ่มขึ้นของต้นทุนถึง 7 เท่านี้สะท้อนถึงการเปลี่ยนแปลงพื้นฐานในข้อกำหนดแร็ค เมื่อ GPU ที่ใช้พลังงานเกิน 1,000 วัตต์ผลักดันความหนาแน่นพลังงานต่อแร็คให้เกิน 100kW ไปสู่ 1MW² เซิร์ฟเวอร์ AI ของ NVIDIA รุ่น Blackwell Ultra และ Rubin จะต้องการพลังงานระหว่าง 250 ถึง 900kW พร้อม GPU สูงสุด 576 ตัวต่อแร็คภายในปี 2026-2027³ โครงสร้างพื้นฐานแร็คที่รองรับระบบเหล่านี้ต้องพัฒนาตามไปด้วย พร้อมการเสริมความแข็งแรงของโครงสร้าง การรวมระบบระบายความร้อนด้วยของเหลว และความสามารถในการจ่ายพลังงานที่ตู้แบบดั้งเดิมไม่เคยคาดการณ์มาก่อน

ตลาดแร็คศูนย์ข้อมูลคาดการณ์การเติบโตถึง 9.41 พันล้านดอลลาร์ภายในปี 2033 เมื่อเวิร์คโหลด AI เปลี่ยนรูปแบบข้อกำหนดโครงสร้างพื้นฐานทางกายภาพ⁴ ต่างจากศูนย์ข้อมูลแบบดั้งเดิมที่จัดการ 10-15kW ต่อแร็ค สิ่งอำนวยความสะดวก AI ต้องการ 40-250kW ต่อแร็คเพื่อรองรับความต้องการการประมวลผล machine learning⁵ องค์กรที่วางแผนโครงสร้างพื้นฐาน AI ต้องประเมินข้อกำหนดแร็คเทียบกับความต้องการ GPU ปัจจุบันและที่คาดการณ์ไว้ แทนที่จะใช้สมมติฐานเดิมเกี่ยวกับความหนาแน่นพลังงานและความจุน้ำหนัก

วิวัฒนาการความหนาแน่นพลังงานต้องการการออกแบบแร็คใหม่

การพุ่งสูงถึง 100kW+ ต่อแร็คแสดงถึงทั้งวิวัฒนาการและการปฏิวัติในโครงสร้างพื้นฐานศูนย์ข้อมูล⁶ แร็คแบบดั้งเดิมที่ออกแบบสำหรับโหลด 5-10kW ไม่สามารถรองรับข้อกำหนดพลังงานเซิร์ฟเวอร์ GPU สมัยใหม่ได้อย่างปลอดภัยโดยไม่มีการเปลี่ยนแปลงสถาปัตยกรรมพื้นฐาน

ช่วงความหนาแน่นปัจจุบัน ครอบคลุมสถานการณ์การใช้งานที่หลากหลาย คลัสเตอร์การฝึก AI ความหนาแน่นสูงต้องการแร็ค 40-60kW เวิร์คโหลด large language model ต้องการอย่างน้อย 70kW แอปพลิเคชัน supercomputing สำหรับความมั่นคงแห่งชาติและการวิจัย AI ใช้พลังงาน 100kW หรือมากกว่า⁷ แนวโน้มยังคงเร่งตัวขึ้นอย่างต่อเนื่อง

ข้อกำหนดระบบ NVIDIA กำหนดมาตรฐานโครงสร้างพื้นฐาน การออกแบบแร็ค GB200NVL72 ที่เปิดตัวในปี 2024 มีความหนาแน่นพลังงานสูงสุด 132kW⁸ ระบบ Blackwell Ultra และ Rubin ในอนาคตต้องการพลังงานสูงสุด 900kW พร้อม GPU 576 ตัวต่อแร็ค⁹ การบรรยายเปิดงานของ NVIDIA ที่ OCP 2025 เปิดตัวแร็ค AI รุ่นต่อไปที่ต้องการพลังงานสูงสุด 1MW¹⁰

สถาปัตยกรรมการจ่ายพลังงาน ปรับตัวตามการเพิ่มขึ้นของความหนาแน่น การรวมศูนย์การแปลงกระแสไฟฟ้าแปลง AC เป็น DC ใกล้กับแหล่งกำเนิดมากขึ้น จากนั้นจ่าย DC แรงดันสูงโดยตรงไปยังแร็ค ลดการสูญเสียและปรับปรุง PUE¹¹ ไฮเปอร์สเกลเลอร์รวมถึง Meta, Google และ Microsoft ใช้การจ่ายแรงดันกลางสูงถึง 13.8kV และสถาปัตยกรรม DC แรงดันสูงที่ 400VDC และ 800VDC¹²

ผลกระทบด้านต้นทุน มีความสำคัญอย่างมาก การสร้างโครงสร้างพื้นฐานใหม่ที่รองรับ 100kW มีต้นทุน 200,000-300,000 ดอลลาร์ต่อแร็ค แต่ให้รันเวย์สำหรับการเติบโตในอนาคต¹³ การปรับปรุงสิ่งอำนวยความสะดวกที่มีอยู่สำหรับความหนาแน่น 40kW มีต้นทุน 50,000-100,000 ดอลลาร์ต่อแร็ค¹⁴ ขนาดการลงทุนต้องการการวางแผนความจุอย่างรอบคอบ

ข้อกำหนดโครงสร้างสำหรับการติดตั้งความหนาแน่นสูง

ความจุน้ำหนักกลายเป็นสิ่งสำคัญเมื่อเซิร์ฟเวอร์ GPU มีมวลเกินกว่าเซิร์ฟเวอร์แบบดั้งเดิม เซิร์ฟเวอร์ AI บรรจุส่วนประกอบที่หนาแน่นกว่า ฮีตซิงก์ที่ใหญ่กว่า และฮาร์ดแวร์ระบายความร้อนด้วยของเหลวที่แร็คเดิมไม่สามารถรองรับได้อย่างปลอดภัย

ความจุน้ำหนักคงที่ ต้องรองรับการกำหนดค่าเต็มรูปแบบ Eaton เปิดตัวตู้ Heavy-Duty SmartRack ในเดือนตุลาคม 2024 โดยเฉพาะสำหรับ AI ซึ่งมีความจุน้ำหนักคงที่สูงสุด 5,000 ปอนด์¹⁵ ความลึกขยาย 54 นิ้วรองรับเซิร์ฟเวอร์ AI ขนาดใหญ่ที่พบบ่อยในการติดตั้ง GPU¹⁶ แร็คมาตรฐานที่ออกแบบสำหรับโหลด 2,000-3,000 ปอนด์ต้องได้รับการประเมินก่อนการติดตั้งเซิร์ฟเวอร์ AI

การรับน้ำหนักพื้น ต้องการการประเมินสิ่งอำนวยความสะดวก น้ำหนัก CDU เมื่อเติมน้ำอาจถึง 3 ตัน ต้องการความจุรับน้ำหนักพื้น 800kg/m²¹⁷ รวมกับน้ำหนักเซิร์ฟเวอร์และโครงสร้างพื้นฐานระบายความร้อนด้วยของเหลว การรับน้ำหนักพื้นรวมอาจเกินข้อกำหนดศูนย์ข้อมูลแบบดั้งเดิม

ความลึกแร็ค ขยายเกินมิติมาตรฐาน เซิร์ฟเวอร์ NVIDIA HGX และแพลตฟอร์มที่คล้ายกันต้องการตู้ที่ลึกกว่าแร็คความลึกมาตรฐาน 42 นิ้ว¹⁸ การวางแผนสำหรับความลึกที่ขยายมีผลต่อระยะห่างทางเดิน การจัดวางสิ่งอำนวยความสะดวก และการเดินสายเคเบิล

การรวมการจัดการความร้อน มีผลต่อการออกแบบโครงสร้าง แร็คพลังงานสูงสร้างกลุ่มความร้อนที่ต้องการเส้นทางการไหลเวียนอากาศที่ไม่ขาดตอน¹⁹ NVIDIA แนะนำให้วางเซิร์ฟเวอร์สองตัวที่ด้านล่าง ช่องว่าง 3-6U จากนั้นสองเซิร์ฟเวอร์ด้านบนสำหรับการกำหนดค่าระบายความร้อนด้วยอากาศที่เหมาะสม²⁰ การจัดวางแร็คมีผลโดยตรงต่อประสิทธิภาพการระบายความร้อน

ข้อกำหนดการรวมระบบระบายความร้อนด้วยของเหลว

แร็คที่ให้บริการเวิร์คโหลด AI ต้องรองรับโครงสร้างพื้นฐานระบายความร้อนด้วยของเหลวที่ตู้ระบายความร้อนด้วยอากาศไม่เคยคาดการณ์มาก่อน การรวมระบบเพิ่มความซับซ้อนในการเลือกแร็คและการวางแผนสิ่งอำนวยความสะดวก

การรองรับ cold plate ต้องการการรวม manifold การระบายความร้อนแบบ direct-to-chip นำน้ำหล่อเย็นไปยังแหล่งความร้อน CPU และ GPU ขจัดความร้อน 30-40kW ต่อแร็ค²¹ แร็คต้องจัดเตรียมจุดติดตั้ง เส้นทางการเดินท่อ และการกักเก็บการรั่วไหลสำหรับการจ่ายของเหลวภายในตู้

การติดตั้ง rear door heat exchanger เปิดใช้งานการระบายความร้อนแบบไฮบริด ระบบ RDHx ติดกับด้านหลังแร็ค ขจัดความร้อนได้สูงสุด 120kW ต่อแร็คในการกำหนดค่าล่าสุด²² ข้อกำหนดโครงสร้างแร็คต้องรองรับน้ำหนัก RDHx และการเชื่อมต่อท่อ

ความเข้ากันได้กับ immersion เปิดใช้งานความหนาแน่นสูงสุด การระบายความร้อนแบบ immersion จุ่มระบบในของเหลว dielectric จัดการ 50-100kW พร้อมกำจัดพัดลม²³ การติดตั้งบางแห่งใช้ถัง immersion ขนาดแร็คแทนตู้แบบดั้งเดิม ต้องการการวางแผนสิ่งอำนวยความสะดวกที่แตกต่างกัน

สถาปัตยกรรมไฮบริด รวมวิธีการระบายความร้อน การออกแบบทั่วไปในปี 2025 เกี่ยวข้องกับการระบายความร้อนด้วยของเหลว 70% และการระบายความร้อนด้วยอากาศ 30% โดยแร็คทำหน้าที่เป็นจุดรวม²⁴ แร็คต้องรองรับทั้งสองรูปแบบการระบายความร้อนพร้อมกัน

ข้อกำหนดอัตราการไหล กำหนดความสามารถในการระบายความร้อน มาตรฐานอุตสาหกรรม 1.2 LPM/kW ที่อุณหภูมิน้ำเข้า 45°C หมายความว่าแร็ค 85kW ต้องการ CDU และ heat exchanger ที่รองรับการไหล 102 LPM พร้อมการทำความเย็นถึง 45°C²⁵ ท่อแร็คต้องไม่จำกัดอัตราการไหลที่ต้องการ

ข้อกำหนด OCP Open Rack

Open Compute Project กำหนดมาตรฐานแร็คที่เพิ่มประสิทธิภาพสำหรับ hyperscale ข้อกำหนดเวิร์คโหลด AI ผลักดันวิวัฒนาการข้อกำหนดอย่างต่อเนื่อง

Open Rack V3 (ORV3) สร้างรากฐาน Meta กำหนดและเผยแพร่ข้อกำหนดพื้นฐานในปี 2022 พร้อมการมีส่วนร่วมจาก Google และ Rittal²⁶ ความกว้าง 21 นิ้วเกินมาตรฐาน EIA 19 นิ้ว ช่วยเพิ่มการไหลเวียนอากาศอย่างมีนัยสำคัญ²⁷ ข้อกำหนด power shelf, rectifier และ battery backup เปิดใช้งานการจ่ายพลังงานแบบรวม

Open Rack Wide (ORW) จัดการกับ AI รุ่นต่อไป Meta เปิดตัวข้อกำหนด ORW ที่ OCP 2025 เป็นมาตรฐานแร็คกว้างสองเท่าแบบโอเพนซอร์สที่เพิ่มประสิทธิภาพสำหรับความต้องการด้านพลังงาน การระบายความร้อน และการบำรุงรักษาของระบบ AI รุ่นต่อไป²⁸ ข้อกำหนดนี้แสดงถึงการเปลี่ยนแปลงพื้นฐานไปสู่การออกแบบศูนย์ข้อมูลที่ได้มาตรฐาน สามารถทำงานร่วมกันได้ และปรับขนาดได้²⁹

ข้อกำหนด Mt Diablo (Diablo 400) อธิบาย power-rack sidecars สำหรับคลัสเตอร์ AI ร่วมเขียนโดย Google, Meta และ Microsoft ข้อกำหนดกำหนดแร็คพลังงานแบบแยกส่วนที่ผลักดันการจ่ายพลังงานเกินกว่าการกำหนดค่า 48V แบบดั้งเดิม³⁰ Delta Electronics เปิดตัวระบบนิเวศ "AI Power Cube" 800VDC ที่พัฒนาร่วมกับ NVIDIA เพื่อจ่ายพลังงานแร็ค AI ระดับ 1.1MW³¹

ข้อกำหนด Clemente อธิบาย compute trays ที่รวม NVIDIA GB300 Host Processor Modules ในฟอร์มแฟกเตอร์สำหรับกรณีการใช้งานการฝึกและ inference AI/ML ของ Meta³² ข้อกำหนดนี้แสดงถึงการติดตั้งครั้งแรกที่ใช้ OCP ORv3 HPR พร้อม sidecar power racks

การนำไปใช้ในอุตสาหกรรม แสดงให้เห็นคุณค่าของข้อกำหนด AMD ประกาศระบบอ้างอิงระดับแร็ค "Helios" ที่สร้างบนมาตรฐานเปิด ORW³³ การเตรียม Open Rack V3 ของ Rittal สำหรับการระบายความร้อนด้วยของเหลวโดยตรงจัดการกับการกระจายความร้อนจาก high-performance computing และเทคโนโลยี AI³⁴

โซลูชันจากผู้จำหน่ายสำหรับการติดตั้งแร็ค AI

ผู้จำหน่ายโครงสร้างพื้นฐานรายใหญ่เปิดตัวผลิตภัณฑ์แร็คเฉพาะสำหรับ AI ตลอดปี 2024-2025

Schneider Electric เปิดตัว NetShelter Racks ความหนาแน่นสูงในเดือนมิถุนายน 2025 ตามด้วยระบบแร็คใหม่ที่ได้รับแรงบันดาลใจจาก OCP ที่รองรับสถาปัตยกรรม MGX ของ NVIDIA³⁵ ผลิตภัณฑ์เหล่านี้รวมกับพอร์ตโฟลิโอการจ่ายพลังงานและการระบายความร้อนของ Schneider

ตู้ Eaton Heavy-Duty SmartRack มุ่งเป้าการติดตั้ง AI ด้วยความจุน้ำหนักคงที่ 5,000 ปอนด์และความลึกขยาย 54 นิ้ว³⁶ ข้อกำหนดเหล่านี้จัดการกับเซิร์ฟเวอร์ที่ใหญ่และหนักกว่าที่พบบ่อยในโครงสร้างพื้นฐาน GPU

Supermicro นำเสนอโซลูชันระบายความร้อนด้วยของเหลวระดับแร็คพร้อมพลังงานและการระบายความร้อนสูงสุด 100kW ต่อแร็ค ผ่านการตรวจสอบอย่างครบถ้วนในระดับระบบ แร็ค และคลัสเตอร์พร้อมระยะเวลานำส่งที่เร่งขึ้น³⁷ โซลูชันเหล่านี้รวมกับพอร์ตโฟลิโอเซิร์ฟเวอร์ GPU ของ Supermicro

Rittal จัดหาแร็คที่สอดคล้องกับ OCP ORV3 พร้อมการเตรียมการระบายความร้อนด้วยของเหลวที่จัดการกับข้อกำหนดการกระจายความร้อนจากเทคโนโลยี AI³⁸ ผลิตภัณฑ์รองรับการรวมการระบายความร้อนด้วยของเหลวโดยตรง

Legrand บรรลุการเพิ่มขึ้นของรายได้ 24% จากพอร์ตโฟลิโอโครงสร้างพื้นฐานศูนย์ข้อมูลที่มุ่งเน้น AI ใน H1 2025 ทำการเข้าซื้อกิจการ 7 รายที่เพิ่มรายได้ต่อปี 500 ล้านยูโร³⁹ รายได้ศูนย์ข้อมูลของบริษัทคาดว่าจะเกิน 2 พันล้านยูโรในปี 2025⁴⁰

ข้อพิจารณาโครงสร้างพื้นฐานเครือข่าย

คลัสเตอร์ AI ต้องการความหนาแน่นโครงสร้างพื้นฐานไฟเบอร์มากกว่าศูนย์ข้อมูลทั่วไป 5 เท่า⁴¹ การเลือกแร็คต้องรองรับความหนาแน่นสายเคเบิลที่เครือข่าย AI ต้องการ

สายเคเบิล InfiniBand และ high-speed Ethernet ต้องการความจุการเดินสาย คลัสเตอร์ AI พึ่งพาเครือข่ายแบนด์วิดท์สูงพิเศษ ความหน่วงต่ำ (400Gbps+ Ethernet หรือ InfiniBand XDR) เพื่อซิงโครไนซ์ GPU ข้ามเซิร์ฟเวอร์⁴² โครงสร้างเครือข่ายคล้ายกับการออกแบบ supercomputer โดยมีการเชื่อมต่อไฟเบอร์มากกว่า 4-5 เท่าต่อแร็ค⁴³

การรวมการจัดการสายเคเบิล มีผลต่อการเลือกแร็ค อุปกรณ์เสริมการจัดการสายเคเบิลมาตรฐานที่ออกแบบสำหรับ 10-20 สายต่อแร็คไม่สามารถรองรับการเชื่อมต่อความเร็วสูงหลายร้อยสายที่เครือข่าย AI ต้องการ ประเมินความจุการจัดการสายเคเบิลของแร็คก่อนการจัดซื้อ

การเดินสายด้านบนเทียบกับใต้พื้น มีผลต่อตำแหน่งแร็ค ความหนาแน่นสายเคเบิล AI อาจเกินความจุพื้นยกแบบดั้งเดิม ผลักดันการนำการจัดการสายเคเบิลด้านบนมาใช้ ความสูงแร็คต้องรองรับการเดินสายด้านบนขณะที่ยังคงความสามารถในการบำรุงรักษา

การวางแผนสำหรับการเติบโตของความหนาแน่น

องค์กรที่ติดตั้งโครงสร้างพื้นฐาน AI ควรกำหนดขนาดการลงทุนแร็คสำหรับการเติบโตที่คาดหวังแทนที่จะเป็นข้อกำหนดปัจจุบัน

การตระหนักถึง GPU roadmap แจ้งการวางแผนความจุ การก้าวหน้าของ NVIDIA จาก H100 (700W) ถึง Blackwell (1000W+) ถึง Rubin (สูงกว่า) ยังคงเพิ่มความหนาแน่น แร็คที่ติดตั้งสำหรับ GPU ปัจจุบันควรรองรับข้อกำหนดพลังงานรุ่นต่อไป

การจ่ายพลังงานแบบโมดูลาร์ เปิดใช้งานการเพิ่มความจุทีละขั้น PDU-per-rack เทียบกับการจ่ายแบบ busway มีผลต่อวิธีการปรับขนาดความจุ วางแผนสถาปัตยกรรมพลังงานควบคู่กับการเลือกแร็ค

headroom การระบายความร้อน ป้องกัน compute ที่ถูกจำกัด แร็คที่มีความสามารถระบายความร้อนด้วยของเหลวแม้สำหรับการติดตั้งเริ่มต้นที่ระบายความร้อนด้วยอากาศเปิดใช้งานการเปลี่ยนผ่านเมื่อความหนาแน่นเพิ่มขึ้น ต้นทุนส่วนเพิ่มพิสูจน์แล้วว่าน้อยเมื่อเทียบกับการเปลี่ยนแร็ค

ประสิทธิภาพพื้นที่พื้น ทบต้นในระดับใหญ่ แร็คความหนาแน่นสูงกว่าลดจำนวนแร็คทั้งหมดสำหรับความจุ compute ที่เทียบเท่า แร็คน้อยลงหมายถึงพื้นที่พื้นน้อยลง ระยะสายเคเบิลสั้นลง และอาจเป็นสิ่งอำนวยความสะดวกที่เล็กกว่า

ทีมวิศวกรรมทั่วโลกของ Introl ติดตั้งโครงสร้างพื้นฐานแร็คความหนาแน่นสูงสำหรับการติดตั้ง AI ใน 257 สถานที่ ตั้งแต่การติดตั้งเซิร์ฟเวอร์ GPU เริ่มต้นจนถึงสิ่งอำนวยความสะดวก 100,000 accelerator การเลือกแร็คมีผลโดยตรงต่อประสิทธิภาพสิ่งอำนวยความสะดวกและความจุสำหรับ GPU รุ่นต่อไป

รากฐานโครงสร้างพื้นฐาน

แร็คเป็นรากฐานทางกายภาพสำหรับการลงทุนโครงสร้างพื้นฐาน AI ตู้ที่รองรับเซิร์ฟเวอร์ GPU และอุปกรณ์เครือข่ายมูลค่า 3.9 ล้านดอลลาร์ต้องรองรับการลงทุนนั้นอย่างปลอดภัยขณะที่เปิดใช้งานโครงสร้างพื้นฐานการจ่ายพลังงานและการระบายความร้อนที่ระบบเหล่านั้นต้องการ