การเติบโตแบบเอ็กซ์โพเนนเชียลของ AI workloads ได้ผลักดันระบบทำความเย็นของ data center เข้าสู่จุดเปลี่ยนผ่านที่สำคัญ เมื่อความหนาแน่นของ GPU rack เพิ่มขึ้นเกิน 50kW—พร้อมกับระบบรุ่นใหม่ที่ต้องการ 100kW ขึ้นไป—ระบบทำความเย็นด้วยอากาศแบบดั้งเดิมได้ถึงขีดจำกัดทางฟิสิกส์พื้นฐานแล้ว การวิเคราะห์เชิงลึกนี้เผยให้เห็นว่าอุตสาหกรรมกำลังนำทางการเปลี่ยนแปลงด้านความร้อนนี้ผ่านเทคโนโลยีการทำความเย็นด้วยของเหลวขั้นสูง โดยส่งมอบการประหยัดพลังงาน 10-21% ลดต้นทุนการทำความเย็น 40% และเอื้อให้เกิดโครงสร้างพื้นฐานที่จำเป็นสำหรับการปฏิวัติ AI
เมื่ออากาศกลายเป็นคอขวด
ความล้มเหลวของการระบายความร้อนด้วยอากาศในความหนาแน่นสูงไม่ได้เกิดขึ้นอย่างค่อยเป็นค่อยไป—มันเกิดขึ้นอย่างทันทีทันใด ที่ 50kW ต่อแร็ก กฎฟิสิกส์กลายเป็นสิ่งที่ไม่อาจยกเว้นได้: การระบายความร้อนต้องการการไหลของอากาศ 7,850 ลูกบาศก์ฟุตต่อนาที (CFM) ที่ความแตกต่างของอุณหภูมิ 20°F เพิ่มเป็นสองเท่าที่ 100kW และคุณต้องการ 15,700 CFM—สร้างลมแรงเทียบเท่าพายุเฮอริเคนผ่านช่องรับอากาศของเซิร์ฟเวอร์ที่มีขนาดเพียง 2-4 ตารางนิ้ว สมการการกำจัดความร้อนพื้นฐาน (Q = 0.318 × CFM × ΔT) เผยให้เห็นความท้าทายที่ไม่อาจเอาชนะได้: เมื่อความหนาแน่นเพิ่มขึ้น การไหลของอากาศที่ต้องการจะเพิ่มขึ้นแบบเชิงเส้น แต่การใช้พลังงานของพัดลมเพิ่มขึ้นตามกำลังสามของความเร็วพัดลม การเพิ่มขึ้น 10% ของการไหลของอากาศต้องการพลังงานพัดลมมากขึ้น 33% สร้างวงจรการใช้พลังงานที่ทำให้การระบายความร้อนด้วยอากาศความหนาแน่นสูงเป็นไปไม่ได้ทั้งทางเศรษฐกิจและปฏิบัติ
หลักฐานในโลกแห่งความเป็นจริงยืนยันขีดจำกัดเชิงทฤษฎีเหล่านี้ กรณีที่มีการบันทึกไว้แห้งหนึ่งแสดงให้เห็นว่า 250 แร็กที่เพียง 6kW เพิ่มจาก 72°F เป็นกว่า 90°F ใน 75 วินาที เมื่อการระบายความร้อนล้มเหลว ดาต้าเซ็นเตอร์แบบดั้งเดิมที่ออกแบบสำหรับความหนาแน่นแร็กเฉลี่ย 5-10kW ไม่สามารถรองรับปริมาณงาน GPU สมัยใหม่ได้ แม้กระทั่งกับการควบคุมช่องทางอากาศร้อน/เย็นขั้นสูง การระบายความร้อนด้วยอากาศยังต่อสู้เกิน 40kW ในขณะที่ระบบที่ไม่มีการควบคุมประสบปัญหาการสูญเสียความจุ 20-40% จากการหมุนเวียนอากาศร้อน คลาสสิ่งแวดล้อม ASHRAE H1 ใหม่ ที่สร้างขึ้นมาเฉพาะสำหรับอุปกรณ์ความหนาแน่นสูง จำกัดอุณหภูมิที่อนุญาตไว้ที่ 18-22°C—ช่วงที่เป็นไปไม่ได้ที่จะรักษาด้วยการระบายความร้อนด้วยอากาศในระดับ GPU
เทคโนโลยีการระบายความร้อนด้วยของเหลวเปลี่ยนแปลงสิ่งที่เป็นไปได้
การเปลี่ยนผ่านสู่การระบายความร้อนด้วยของเหลวหมายถึงมากกว่าการปรับปรุงแบบค่อยเป็นค่อยไป—นี่คือการคิดใหม่พื้นฐานของการกำจัดความร้อน ค่าสัมประสิทธิ์การถ่ายเทความร้อนของน้ำสูงกว่าอากาศ 3,500 เท่า ทำให้สามารถระบายความร้อนในระดับที่ทำให้ rack ขนาด 100kW+ เป็นเรื่องปกติแทนที่จะเป็นเรื่องน่าทึ่ง
Direct-to-chip cooling นำการเปลี่ยนแปลงนี้ โดยใช้ cold plate ที่มี microchannel (27-100 micron) ติดตั้งโดยตรงกับ processor ระบบเหล่านี้ทำงานด้วยน้ำป้อนที่อุณหภูมิ 40°C และคืนกลับที่ 50°C สามารถกำจัดความร้อน 70-75% ของ rack ผ่านของเหลวพร้อมทั้งรักษาpartial PUE ที่ 1.02-1.03 การใช้งานยุคใหม่รองรับมากกว่า 1.5kW ต่อชิปด้วยอัตราการไหล 13 ลิตรต่อนาทีสำหรับเซิร์ฟเวอร์ 9kW ความร้อนที่เหลืออีก 25-30%—จาก memory, drive และส่วนประกอบเสริม—ยังคงต้องการการระบายความร้อนด้วยอากาศ ทำให้ระบบแบบผสมเหล่านี้เป็นตัวเลือกที่เหมาะสมสำหรับการใช้งานส่วนใหญ่
Immersion cooling ก้าวข้ามขีดจำกัดไปอีกขั้น โดยจุ่มเซิร์ฟเวอร์ทั้งตัวลงในของเหลว dielectric ระบบ single-phase ที่ใช้น้ำมันแร่ราคา $50-100 ต่อแกลลอน รองรับ200kW ต่อ rack อย่างสม่ำเสมอ ระบบ two-phase สัญญาว่าจะถ่ายเทความร้อนได้เหนือกว่าผ่านการเดือดและการควบแน่น แต่เผชิญกับความท้าทาย: ของเหลว fluorocarbon ราคา $500-1000 ต่อแกลลอน และการที่ 3M หยุดการผลิตภายในปี 2025 เนื่องจากข้อกังวลด้านสิ่งแวดล้อมทำให้การนำไปใช้หยุดชะงัก ความซับซ้อนของเทคโนโลยี—บรรจุภัณฑ์ปิดผนึก ความเสี่ยง cavitation และกฎระเบียบ PFAS—จำกัดการใช้งานให้เฉพาะแอปพลิเคชันเฉพาะทาง
Coolant Distribution Unit (CDU) เป็นกระดูกสันหลังของโครงสร้างพื้นฐานการระบายความร้อนด้วยของเหลว หน่วยงานยุคใหม่มีตั้งแต่ระบบติดตั้งในแร็ก 7kW ไปจนถึงระบบยักษ์ใหญ่ 2,000kW+ เช่น CHx2000 ของ CoolIT ผู้ขายชั้นนำ—Vertiv, Schneider Electric, Motivair และ CoolIT—เสนอโซลูชันที่มี redundancy N+1, filtration 50-micron และ variable frequency drive สำหรับการจับคู่โหลด ตลาด CDU ที่มีมูลค่า $1 พันล้านในปี 2024 คาดว่าจะเติบโตถึง$3.6 พันล้านภายในปี 2031 (CAGR 20.5%) สะท้อนถึงการนำ liquid cooling มาใช้อย่างรวดเร็ว
ศิลปะและเศรษฐศาสตร์ของการปรับปรุงระบบ
การเปลี่ยนผ่านศูนย์ข้อมูลที่มีอยู่ไปสู่ระบบระบายความร้อนด้วยของเหลวต้องการการวางแผนที่รอบคอบ แนวทางที่ประสบความสำเร็จมากที่สุดคือการย้ายแบบเป็นขั้นตอน เริ่มต้นด้วยแร็คความหนาแน่นสูง 1-2 แร็ค ขยายไปยังทั้งแถว จากนั้นปรับขยายตามความต้องการ มีเส้นทางการปรับปรุงหลัก 3 รูปแบบ: CDU แบบของเหลวสู่อากาศที่ใช้ประโยชน์จากระบบปรับอากาศที่มีอยู่ เครื่องแลกเปลี่ยนความร้อนติดตั้งด้านหลังประตูที่สามารถระบายความร้อนได้สูงสุด 40kW ต่อแร็ค และโซลูชันแบบเชื่อมต่อตรงกับชิปเพื่อประสิทธิภาพสูงสุด
การปรับเปลี่ยนโครงสร้างพื้นฐานเป็นความท้าทายหลัก โครงสร้างพื้นฐานด้านไฟฟ้า มักกลายเป็นปัจจัยจำกัด สิ่งอำนวยความสะดวกที่ออกแบบสำหรับภาระเฉลี่ย 5-10kW ไม่สามารถรองรับแร็ค 50kW+ ได้โดยไม่คำนึงถึงความสามารถในการระบายความร้อน ระบบท่อต้องการการสร้างแบบจำลอง CFD อย่างรอบคอบในสภาพแวดล้อมพื้นยกระดับ หรือการติดตั้งแบบเหนือศีรษะพร้อมถาดรองหยดในโครงสร้างแผ่นคอนกรีต น้ำหนักบรรทุกพื้น โดยเฉพาะสำหรับระบบแช่ อาจเกินความสามารถของโครงสร้างในสิ่งอำนวยความสะดวกเก่า
การวิเคราะห์ต้นทุนแสดงให้เห็นเศรษฐศาสตร์ที่น่าสนใจแม้จะมีการลงทุนเริ่มต้นสูง การศึกษาของ California Energy Commission บันทึกระบบระบายความร้อนด้วยของเหลวแบบสมบูรณ์สำหรับเซิร์ฟเวอร์ 1,200 เครื่องใน 17 แร็ค ด้วยต้นทุนรวม $470,557 หรือ $392 ต่อเซิร์ฟเวอร์ รวมถึงการปรับเปลี่ยนสิ่งอำนวยความสะดวก การประหยัดพลังงานรายปี 355 MWh ($39,155 ที่ $0.11/kWh) ให้ระยะเวลาคืนทุนแบบง่าย 12 ปี แม้ว่าการใช้งานที่ปรับให้เหมาะสมจะบรรลุผลตอบแทน 2-5 ปี การวิเคราะห์ของ Schneider Electric แสดงการประหยัดเงินทุน 14% ผ่านการบีบอัดแร็ค 4 เท่า ในขณะที่การประหยัดจากการดำเนินงานรวมถึงการลดลง 10.2% ในพลังงานศูนย์ข้อมูลทั้งหมด และ การปรับปรุง 15.5% ใน Total Usage Effectiveness
ความท้าทายในการรวมระบบเพิ่มขึ้นในสภาพแวดล้อมไฮบริด แม้แต่สิ่งอำนวยความสะดวก "ระบายความร้อนด้วยของเหลวแบบสมบูรณ์" ยังต้องการความสามารถระบายความร้อนด้วยอากาศ 20-30% สำหรับส่วนประกอบเสริม ระบบควบคุมต้องประสานงานเทคโนโลยีระบายความร้อนหลายแบบ ติดตามทั้งอุณหภูมิอินเล็ตแร็คและสภาวะน้ำจ่าย ความซ้ำซ้อนกลายเป็นสิ่งสำคัญ เครื่องแลกเปลี่ยนความร้อนด้านหลังประตูต้องสลับไปใช้ระบายความร้อนด้วยอากาศเมื่อเปิดเพื่อบำรุงรักษา ในขณะที่ระบบเชื่อมต่อตรงกับชิปมีเวลาพักพิงน้อยกว่า 10 วินาทีที่ภาระเต็ม
จากการทดลองสู่การผลิตจริง
การปรับใช้งานในโลกแห่งความจริงแสดงให้เห็นความพร้อมของระบบระบายความร้อนด้วยของเหลว Meta เป็นผู้นำในการนำไปใช้งานในระดับใหญ่ โดยติดตั้ง Air-Assisted Liquid Cooling ในพื้นที่ดาต้าเซ็นเตอร์กว่า 40 ล้านตารางฟุต การออกแบบ Catalina rack รองรับกำลังไฟ 140kW พร้อม GPU 72 ตัว ในขณะที่การปรับใช้ระบบระบายความร้อนด้วยของเหลวทั่วทั้งสถานที่มีเป้าหมายให้เสร็จสิ้นภายในต้นปี 2025 การเปลี่ยนแปลงนี้ต้องยกเลิกดาต้าเซ็นเตอร์หลายแห่งที่อยู่ระหว่างการก่อสร้างเพื่อออกแบบใหม่ให้เหมาะสมกับ AI โดยคาดว่าจะประหยัดค่าใช้จ่าย 31% จากสถาปัตยกรรมใหม่
การเดินทางเจ็ดปีของ Google กับ TPU ที่ใช้ระบายความร้อนด้วยของเหลวมอบข้อมูลที่ครอบคลุมที่สุดในอุตสาหกรรม การปรับใช้ระบบแบบปิดในมากกว่า 2,000 TPU Pods ในระดับกิกะวัตต์ พวกเขาบรรลุ uptime 99.999% พร้อมทั้งแสดงการนำความร้อนที่ดีกว่าอากาศถึง 30 เท่า การออกแบบ CDU รุ่นที่ห้า Project Deschutes จะนำเสนอให้กับ Open Compute Project เพื่อเร่งการใช้งานทั่วทั้งอุตสาหกรรม
Microsoft ผลักดันขอบเขตด้วยระบบระบายความร้อนแบบจุ่มสองเฟสในการผลิตจริง โดยใช้ของไหลไดอิเล็กทริกที่เดือดที่ 122°F ซึ่งต่ำกว่าน้ำ 50°C เทคโนโลยีนี้ช่วยลดการใช้พลังงานของเซิร์ฟเวอร์ 5-15% พร้อมกำจัดพัดลมระบายความร้อน ความมุ่งมั่นของพวกเขาที่จะลดการใช้น้ำ 95% ภายในปี 2024 ขับเคลื่อนนวัตกรรมในระบบแบบปิดที่ไม่มีการระเหย
ผู้ให้บริการเฉพาะทางอย่าง CoreWeave แสดงให้เห็นระบบระบายความร้อนด้วยของเหลวสำหรับงาน AI วางแผนปรับใช้ GPU 4,000 ตัวภายในปลายปี 2024 พวกเขาบรรลุความหนาแน่นแร็ก 130kW พร้อมการใช้งานระบบที่ดีกว่า 20% เมื่อเทียบกับคู่แข่ง การออกแบบที่เหมาะสำหรับระบบราง (rail) ช่วยประหยัด GPU 3.1 ล้านชั่วโมงผ่านความน่าเชื่อถือที่ดีขึ้น โดยปรับใช้ H100 clusters ภายในเวลาไม่ถึง 60 วัน
การตอบสนองความต้องการการระบายความร้อนของตัวเร่ง AI
ข้อมูลจำเพาะของ GPU เผยให้เห็นว่าทำไมการระบายความร้อนแบบของเหลวจึงกลายเป็นสิ่งจำเป็น NVIDIA H100 SXM5 ทำงานที่ TDP 700W ซึ่งต้องการการระบายความร้อนแบบของเหลวเพื่อประสิทธิภาพที่เหมาะสมที่สุด H200 รักษากรอบพลังงานเดียวกันไว้ขณะที่ส่งมอบหน่วยความจำ HBM3e 141GB ที่ 4.8TB/s ซึ่งมีแบนด์วิดท์เพิ่มขึ้น 1.4 เท่า ทำให้เกิดความร้อนที่เป็นสัดส่วนกัน B200 ที่กำลังจะมาถึงจะก้าวข้ามขีดจำกัดไปอีกขั้น: 1,200W สำหรับรุ่นระบายความร้อนแบบของเหลวเทียบกับ 1,000W สำหรับแบบอากาศ พร้อมประสิทธิภาพ FP4 20 PFLOPS ที่ต้องการการจัดการความร้อนแบบซับซ้อน
GB200 NVL72 ซึ่งบรรจุ GPU Blackwell 72 ตัวและ CPU Grace 36 ตัวในแร็คเดียว เป็นตัวแทนของจุดสิ้นสุดความเป็นไปได้ของการระบายความร้อนแบบอากาศ ที่กำลังไฟแร็ค 140kW จำเป็นต้องมีการระบายความร้อนแบบของเหลวผ่านแผ่นเย็นที่พัฒนาใหม่และ CDU 250kW ข้อพิจารณาระดับระบบทำให้ความซับซ้อนเพิ่มขึ้น: การเชื่อมต่อ NVSwitch เพิ่ม 10-15W แต่ละตัว ขณะที่หน่วยความจำความเร็วสูงและระบบจ่ายไฟสนับสนุนความร้อนเพิ่มเติมอย่างมาก
การวิเคราะห์ทางเทคนิคโดย JetCool แสดงให้เห็นความแตกต่างของประสิทธิภาพที่ชัดเจน: H100 SmartPlate ของพวกเขาบรรลุความต้านทานความร้อน 0.021°C/W ทำให้ชิปทำงานที่อุณหภูมิเย็นกว่า 35°C เมื่อเปรียบเทียบกับทางเลือกแบบอากาศ ขณะที่รองรับอุณหภูมิขาเข้า 60°C การลดอุณหภูมินี้ในทางทฤษฎีขยายอายุการใช้งานของ GPU ได้ 8 เท่า ขณะเดียวกันก็ช่วยให้ประสิทธิภาพสูงสุดคงอยู่ได้อย่างต่อเนื่อง ซึ่งสำคัญสำหรับการฝึก AI ที่ใช้เวลาหลายสัปดาห์
## แผนงานสู่ปี 2030
อุตสาหกรรมอยู่ในจุดเปลี่ยนผ่านที่แนวปฏิบัติที่ดีกำลังพัฒนาเป็นข้อกำหนดอย่างรวดเร็ว คลาสสิ่งแวดล้อม H1 ใหม่ของ ASHRAE (แนะนำ 18-22°C) ยอมรับว่าแนวทางดั้งเดิมไม่สามารถรองรับปริมาณงาน AI ได้ มาตรฐานการระบายความร้อนด้วยของเหลวของ Open Compute Project ผลักดันการทำงานร่วมกันได้ ขณะที่ Immersion Requirements Rev. 2.10 ของพวกเขากำหนดกระบวนการคัดเลือกสำหรับเทคโนโลยีที่เกิดใหม่
การระบายความร้อนแบบแช่จุ่มสองเฟส แม้จะมีความท้าทายในปัจจุบัน แต่แสดงให้เห็นแนวโน้มที่ดีสำหรับการนำมาใช้อย่างแพร่หลายในช่วงปี 2025-2027 การคาดการณ์ตลาดบ่งชี้ถึงการเติบโตจาก 375 ล้านดอลลาร์ (2024) เป็น 1.2 พันล้านดอลลาร์ (2032) โดยขับเคลื่อนด้วยการถ่ายเทความร้อนที่เหนือกว่าที่ช่วยให้ใช้พลังงานได้ 1,500W+ ต่อชิป นวัตกรรมอย่าง Accelsius NeuCool และทางเลือกอื่นแทนของเหลว 3M ที่หยุดผลิตแล้ว ช่วยแก้ไขปัญหาสิ่งแวดล้อมพร้อมรักษาประสิทธิภาพ
การเพิ่มประสิทธิภาพที่ขับเคลื่อนโดย AI ให้ผลตอบแทนทันที การใช้งานของ Google DeepMind ประสบความสำเร็จในการลดพลังงานระบายความร้อน 40% ผ่านการเรียนรู้แบบเรียลไทม์ ขณะที่ White Space Cooling Optimization ของ Siemens และแพลตฟอร์มที่คล้ายกันแพร่กระจายไปอย่างรวดเร็ว ระบบเหล่านี้ทำนายความเสียหาย เพิ่มประสิทธิภาพเคมีของสารหล่อเย็น และปรับตัวตามรูปแบบปริมาณงานแบบไดนามิก ซึ่งเป็นความสามารถที่ 91% ของผู้จำหน่ายคาดว่าจะแพร่หลายภายในห้าปี
การกู้คืนความร้อนเสีย เปลี่ยนภาระเป็นสินทรัพย์ Stockholm Data Parks ให้ความร้อนแก่ครัวเรือน 10,000 หลังคาเรือนด้วยความร้อนเสียจากดาต้าเซ็นเตอร์แล้ว โดยตั้งเป้า 10% ของการทำความร้อนในเมืองภายในปี 2035 แรงกดดันจากกฎระเบียบเร่งการนำมาใช้ เยอรมนีกำหนดให้มีการใช้ความร้อนซ้ำ 20% ภายในปี 2028 ขณะที่ California Title 24 กำหนดให้มีโครงสร้างพื้นฐานการกู้คืนในการก่อสร้างใหม่ เทคโนโลยีฮีตปั๊มปรับความร้อนเสียที่ 30-40°C ให้สูงขึ้นเป็น 70-80°C สำหรับระบบทำความร้อนแบบกระจาย สร้างกระแสรายได้จากพลังงานที่เคยถูกทิ้งไป
การเปลี่ยนผ่าน
ความสำเร็จในการใช้งานระบบ liquid cooling ต้องการการวางแผนเชิงกลยุทธ์หลายมิติ องค์กรควรเริ่มด้วย liquid-to-air CDU ที่ตรงไปตรงมาเพื่อเริ่มต้นด้วยอุปสรรคต่ำที่สุด แต่จะต้องประเมินโครงสร้างพื้นฐานด้านพลังงานก่อน—ความจุไฟฟ้าที่ไม่เพียงพอจะทำให้ไม่สามารถปรับปรุงระบบได้ไม่ว่าจะใช้เทคโนโลยี cooling แบบใด การเริ่มต้นด้วยการทดลอง 1-2 rack จะช่วยให้เรียนรู้ก่อนขยายขนาด ในขณะที่การรักษาความเชี่ยวชาญด้าน air cooling ยังคงสำคัญสำหรับการดำเนินงานแบบผสมผสาน
การจำลองทางการเงินจะต้องพิจารณาคุณค่าของระบบทั้งหมด ในขณะที่การลงทุนเริ่มต้นอยู่ในช่วง $1,000 ถึง $2,000 ต่อ kW ของกำลัง cooling แต่การประหยัดจากการดำเนินงานจะเพิ่มทบต้น: การลด facility power 27% ในการใช้งานที่ปรับให้เหมาะสม การประหยัดพลังงาน cooling 30% เมื่อเทียบกับระบบปกติ และที่สำคัญคือความสามารถในการใช้งาน AI workload ที่สร้างรายได้ ซึ่งเป็นไปไม่ได้กับ air cooling การใช้งานชั้นนำสามารถบรรลุการคืนทุนต่ำกว่า 2 ปีผ่านการออกแบบที่รอบคอบ: การหลีกเลี่ยงการรวม chiller ที่ไม่มีประสิทธิภาพช่วยประหยัด 20-30% ในขณะที่การมุ่งเน้นไปที่ applications ที่มีความหนาแน่นสูงที่สุดจะเพิ่มผลตอบแทนสูงสุด
ทีมเทคนิคต้องการความสามารถใหม่ นอกเหนือจากความรู้ HVAC แบบดั้งเดิม พนักงานจะต้องเข้าใจเคมีของ coolant โปรโตคอลการตอบสนองต่อการรั่วไหล และระบบควบคุมแบบบูรณาการ การร่วมมือกับ vendor เป็นสิ่งจำเป็น—การสนับสนุน 24/7 สำหรับชิ้นส่วนพิเศษและการบำรุงรักษาเชิงป้องกันเป็นประจำทุก 6 เดือนกลายเป็นความจำเป็นในการดำเนินงาน โปรโตคอลความปลอดภัยขยายไปรวมถึงการจัการ dielectric fluid และการจัดการระบบแรงดัน
ตลาดส่งสัญญาณแรงผลักดันอย่างท่วมท้น liquid cooling ของ data center เติบโตจาก $4.9 พันล้าน (2024) ไปสู่การคาดการณ์$21.3 พันล้าน (2030) ที่ CAGR 27.6% Single-phase direct-to-chip cooling กลายเป็นมาตรฐานสำหรับ AI workload ภายในปี 2025-2026 ในขณะที่ two-phase immersion จะได้รับการยอมรับในกระแสหลักภายในปี 2027 ภายในปี 2030 rack 1MW จะต้องใช้ advanced liquid cooling เป็นมาตรฐาน ไม่ใช่ข้อยกเว้น
## สรุป
กฎเกณฑ์ทางฟิสิกส์ชัดเจน: การระบายความร้อนด้วยอากาศได้ถึงขีดจำกัดแล้ว เมื่อความหนาแน่นของ rack อยู่ที่ 50-100kW ข้อจำกัดด้านอุณหพลศาสตร์พื้นฐานทำให้ liquid cooling ไม่เพียงแต่เป็นตัวเลือกที่ดีกว่า แต่จำเป็นอย่างยิ่ง การเปลี่ยนแปลงนี้เป็นการเปลี่ยนแปลงโครงสร้างพื้นฐานที่สำคัญที่สุดในประวัติศาสตร์ data center ที่ต้องการทักษะใหม่ การลงทุนอย่างมาก และการปรับเปลี่ยนการดำเนินงาน แต่ประโยชน์ที่ได้—การประหยัดพลังงาน 10-21% การลดต้นทุนการระบายความร้อน 40% การปรับปรุงความน่าเชื่อถือ 8 เท่า และที่สำคัญที่สุด คือความสามารถในการติดตั้งโครงสร้างพื้นฐาน AI รุ่นใหม่—ทำให้วิวัฒนาการนี้เป็นสิ่งที่หลีกเลี่ยงไม่ได้ องค์กรที่เชี่ยวชาญ liquid cooling ในวันนี้จะเป็นพลังขับเคลื่อนความก้าวหน้าทางด้าน AI ของอนาคต—ส่วนองค์กรที่ล่าช้าจะตกหลังขณะที่อุตสาหกรรมแข่งขันกันไปสู่ความหนาแน่นการประมวลผลที่สูงขึ้นเรื่อยๆ เราได้ถึง thermal wall แล้ว liquid cooling คือวิธีที่เราจะผ่านมันไปได้
References
ACM Digital Library. "Energy-efficient LLM Training in GPU datacenters with Immersion Cooling Systems." Proceedings of the 16th ACM International Conference on Future and Sustainable Energy Systems. 2025. https://dl.acm.org/doi/10.1145/3679240.3734609.
AMAX. "Comparing NVIDIA Blackwell Configurations." 2025. https://www.amax.com/comparing-nvidia-blackwell-configurations/.
———. "Top 5 Considerations for Deploying NVIDIA Blackwell." 2025. https://www.amax.com/top-5-considerations-for-deploying-nvidia-blackwell/.
arXiv. "[1309.4887] iDataCool: HPC with Hot-Water Cooling and Energy Reuse." 2013. https://ar5iv.labs.arxiv.org/html/1309.4887.
———. "[1709.05077] Transforming Cooling Optimization for Green Data Center via Deep Reinforcement Learning." 2017. https://ar5iv.labs.arxiv.org/html/1709.05077.
Attom. "Ashrae's New Thermal Guideline Update: A New High Density Trend." Expert Green Prefab Data Centers. 2025. https://attom.tech/ashraes-new-thermal-guideline-update-a-new-high-density-trend/.
Chilldyne. "High-power liquid cooling design: direct-to-chip solution requirements for 500 kW Racks." Chilldyne | Liquid Cooling. July 29, 2024. https://chilldyne.com/2024/07/29/high-power-liquid-cooling-design-direct-to-chip-solution-requirements-for-500-kw-racks/.
Compass Datacenters. "What Is Data Center Cooling?" 2025. https://www.compassdatacenters.com/data-center-cooling/.
Converge Digest. "Meta Outlines AI Infrastructure Upgrades at OCP Summit 2024." 2024. https://convergedigest.com/meta-outlinesai-infrastructure-upgrades-at-ocp-summit-2024/.
Core Winner LTD. "Comprehensive Guide to Liquid Cooling: The Future of High-Performance Data Centers and AI Deployments." 2025. https://www.corewinner.com/en/blog/detail/52.
CoreWeave. "Building AI Clusters for Enterprises 2025." 2025. https://www.coreweave.com/blog/building-ai-clusters-for-enterprises-2025.
———. "GPUs for AI Models and Innovation." 2025. https://www.coreweave.com/products/gpu-compute.
Cyber Defense Advisors. "AI-Driven Predictive Maintenance: The Future of Data Center Reliability." 2025. https://cyberdefenseadvisors.com/ai-driven-predictive-maintenance-the-future-of-data-center-reliability/.
Data Center Catalog. "Meta Plans Shift to Liquid Cooling for its Data Center Infrastructure." 2022. https://datacentercatalog.com/news/2022/meta-plans-shift-to-liquid-cooling-for-its-data-center-infrastructure.
Data Center Dynamics. "An introduction to liquid cooling in the data center." 2025. https://www.datacenterdynamics.com/en/analysis/an-introduction-to-liquid-cooling-in-the-data-center/.
———. "Hyperscalers prepare for 1MW racks at OCP EMEA; Google announces new CDU." 2025. https://www.datacenterdynamics.com/en/news/hyperscalers-prepare-for-1mw-racks-at-ocp-emea-google-announces-new-cdu/.
———. "New ASHRAE guidelines challenge efficiency drive." 2025. https://www.datacenterdynamics.com/en/opinions/new-ashrae-guidelines-challenge-efficiency-drive/.
———. "Nvidia's CEO confirms upcoming system will be liquid cooled." 2025. https://www.datacenterdynamics.com/en/news/nvidias-ceo-confirms-next-dgx-will-be-liquid-cooled/.
———. "Optimizing data center efficiency with direct-to-chip liquid cooling." 2025. https://www.datacenterdynamics.com/en/opinions/optimizing-data-center-efficiency-with-direct-to-chip-liquid-cooling/.
———. "Two-phase cooling will be hit by EPA rules and 3M's exit from PFAS 'forever chemicals'." 2025. https://www.datacenterdynamics.com/en/news/two-phase-cooling-will-be-hit-by-epa-rules-and-3ms-exit-from-pfas-forever-chemicals/.
Data Center Frontier. "8 Trends That Will Shape the Data Center Industry In 2025." 2025. https://www.datacenterfrontier.com/cloud/article/55253151/8-trends-that-will-shape-the-data-center-industry-in-2025.
———. "Best Practices for Deploying Liquid Cooled Servers in Your Data Center." 2025. https://www.datacenterfrontier.com/sponsored/article/55138161/best-practices-for-deploying-liquid-cooled-servers-in-your-data-center.
———. "Google Developing New 'Climate Conscious' Cooling Tech to Save Water." 2025. https://www.datacenterfrontier.com/cooling/article/33001080/google-developing-new-climate-conscious-cooling-tech-to-save-water.
———. "Google Shifts to Liquid Cooling for AI Data Crunching." 2025. https://www.datacenterfrontier.com/cloud/article/11430207/google-shifts-to-liquid-cooling-for-ai-data-crunching.
———. "Meta Plans Shift to Liquid Cooling for its Data Center Infrastructure." 2025. https://www.datacenterfrontier.com/cooling/article/11436915/meta-plans-shift-to-liquid-cooling-for-its-data-center-infrastructure.
———. "Meta Previews New Data Center Design for an AI-Powered Future." 2025. https://www.datacenterfrontier.com/data-center-design/article/33005296/meta-previews-new-data-center-design-for-an-ai-powered-future.
———. "OCP 2024 Spotlight: Meta Debuts 140 kW Liquid-Cooled AI Rack; Google Eyes Robotics to Muscle Hyperscaler GPUs." 2024. https://www.datacenterfrontier.com/hyperscale/article/55238148/ocp-2024-spotlight-meta-shows-off-140-kw-liquid-cooled-ai-rack-google-eyes-robotics-to-muscle-hyperscaler-gpu-placement.
———. "Pushing the Boundaries of Air Cooling in High Density Environments." 2025. https://www.datacenterfrontier.com/special-reports/article/11427279/pushing-the-boundaries-of-air-cooling-in-high-density-environments.
———. "Report: Meta Plans Shift to Liquid Cooling in AI-Centric Data Center Redesign." 2025. https://www.datacenterfrontier.com/cooling/article/33004107/report-meta-plans-shift-to-liquid-cooling-in-ai-centric-data-center-redesign.
———. "The Importance of Liquid Cooling to the Open Compute Project (OCP)." 2025. https://www.datacenterfrontier.com/sponsored/article/55134348/the-importance-of-liquid-cooling-to-the-open-compute-project-ocp.
———. "Waste Heat Utilization is the Data Center Industry's Next Step Toward Net-Zero Energy." 2025. https://www.datacenterfrontier.com/voices-of-the-industry/article/11428787/waste-heat-utilization-is-the-data-center-industrys-next-step-toward-net-zero-energy.
———. "ZutaCore's HyperCool Liquid Cooling Technology to Support NVIDIA's Advanced H100 and H200 GPUs for Sustainable AI." 2024. https://www.datacenterfrontier.com/press-releases/press-release/33038994/zutacores-hypercool-liquid-cooling-technology-to-support-nvidias-advanced-h100-and-h200-gpus-for-sustainable-ai.
Data Center Knowledge. "Data Center Retrofit Strategies." 2025. https://www.datacenterknowledge.com/infrastructure/data-center-retrofit-strategies.
———. "Hybrid Cooling: The Bridge to Full Liquid Cooling in Data Centers." 2025. https://www.datacenterknowledge.com/cooling/hybrid-cooling-the-bridge-to-full-liquid-cooling-in-data-centers.
Data Centre Review. "Making the most of data centre waste heat." June 2024. https://datacentrereview.com/2024/06/making-the-most-of-data-centre-waste-heat/.
Datacenters. "CoreWeave's Role in Google and OpenAI's Cloud Partnership Redefines AI Infrastructure." 2025. https://www.datacenters.com/news/coreweave-s-strategic-role-in-google-and-openai-s-cloud-collaboration.
Dell. "When to Move from Air Cooling to Liquid Cooling for Your Data Center." 2025. https://www.dell.com/en-us/blog/when-to-move-from-air-cooling-to-liquid-cooling-for-your-data-center/.
Digital Infra Network. "Google's megawatt move for AI: Revamping power and cooling." 2025. https://digitalinfranetwork.com/news/google-ocp-400v-liquid-cooling/.
Enconnex. "Data Center Liquid Cooling vs. Air Cooling." 2025. https://blog.enconnex.com/data-center-liquid-cooling-vs-air-cooling.
Engineering at Meta. "Meta's open AI hardware vision." October 15, 2024. https://engineering.fb.com/2024/10/15/data-infrastructure/metas-open-ai-hardware-vision/.
Fortune Business Insights. "Two-Phase Data Center Liquid Immersion Cooling Market, 2032." 2025. https://www.fortunebusinessinsights.com/two-phase-data-center-liquid-immersion-cooling-market-113122.
Google Cloud. "Enabling 1 MW IT racks and liquid cooling at OCP EMEA Summit." Google Cloud Blog. 2025. https://cloud.google.com/blog/topics/systems/enabling-1-mw-it-racks-and-liquid-cooling-at-ocp-emea-summit.
GR Cooling. "Exploring Advanced Liquid Cooling: Immersion vs. Direct-to-Chip Cooling." 2025. https://www.grcooling.com/blog/exploring-advanced-liquid-cooling/.
———. "Two-Phase Versus Single-Phase Immersion Cooling." 2025. https://www.grcooling.com/blog/two-phase-versus-single-phase-immersion-cooling/.
HDR. "Direct-To-Chip Liquid Cooling." 2025. https://www.hdrinc.com/insights/direct-chip-liquid-cooling.
HiRef. "Hybrid Rooms: the combined solution for air and liquid cooling in data centers." 2025. https://hiref.com/news/hybrid-rooms-data-centers.
HPCwire. "H100 Fading: Nvidia Touts 2024 Hardware with H200." November 13, 2023. https://www.hpcwire.com/2023/11/13/h100-fading-nvidia-touts-2024-hardware-with-h200/.
IDTechEx. "Thermal Management for Data Centers 2025-2035: Technologies, Markets, and Opportunities." 2025. https://www.idtechex.com/en/research-report/thermal-management-for-data-centers/1036.
JetCool. "Direct Liquid Cooling vs. Immersion Cooling for Data Centers." 2025. https://jetcool.com/post/five-reasons-water-cooling-is-better-than-immersion-cooling/.
———. "Liquid Cooling System for NVIDIA H100 GPU." 2025. https://jetcool.com/h100/.
Maroonmonkeys. "CDU." 2025. https://www.maroonmonkeys.com/motivair/cdu.html.
Microsoft. "Project Natick Phase 2." 2025. https://natick.research.microsoft.com/.
Microsoft News. "To cool datacenter servers, Microsoft turns to boiling liquid." 2025. https://news.microsoft.com/source/features/innovation/datacenter-liquid-cooling/.
Nortek Data Center Cooling Solutions. "Waste Heat Utilization is the Data Center Industry's Next Step Toward Net-Zero Energy." 2025. https://www.nortekdatacenter.com/waste-heat-utilization-is-the-data-center-industrys-next-step-toward-net-zero-energy/.
NVIDIA. "H200 Tensor Core GPU." 2025. https://www.nvidia.com/en-us/data-center/h200/.
Open Compute Project. "Open Compute Project Foundation Expands Its Open Systems for AI Initiative." 2025. https://www.opencompute.org/blog/open-compute-project-foundation-expands-its-open-systems-for-ai-initiative.
P&S Intelligence. "Immersion Cooling Market Size, Share & Trends Analysis, 2032." 2025. https://www.psmarketresearch.com/market-analysis/immersion-cooling-market.
PR Newswire. "Supermicro Introduces Rack Scale Plug-and-Play Liquid-Cooled AI SuperClusters for NVIDIA Blackwell and NVIDIA HGX H100/H200." 2024. https://www.prnewswire.com/news-releases/supermicro-introduces-rack-scale-plug-and-play-liquid-cooled-ai-superclusters-for-nvidia-blackwell-and-nvidia-hgx-h100h200--radical-innovations-in-the-ai-era-to-make-liquid-cooling-free-with-a-bonus-302163611.html.
———. "ZutaCore's HyperCool Liquid Cooling Technology to Support NVIDIA's Advanced H100 and H200 GPUs for Sustainable AI." 2024. https://www.prnewswire.com/news-releases/zutacores-hypercool-liquid-cooling-technology-to-support-nvidias-advanced-h100-and-h200-gpus-for-sustainable-ai-302087410.html.
Rittal. "What is Direct to Chip Cooling – and Is Liquid Cooling in your Future?" 2025. https://www.rittal.com/us-en_US/Company/Rittal-Stories/What-is-Direct-to-Chip-Cooling-and-Is-Liquid-Cooling-in-your-Future.
ScienceDirect. "Liquid cooling of data centers: A necessity facing challenges." 2024. https://www.sciencedirect.com/science/article/abs/pii/S1359431124007804.
SemiAnalysis. "Datacenter Anatomy Part 1: Electrical Systems." October 14, 2024. https://semianalysis.com/2024/10/14/datacenter-anatomy-part-1-electrical/.
———. "Datacenter Anatomy Part 2 – Cooling Systems." February 13, 2025. https://semianalysis.com/2025/02/13/datacenter-anatomy-part-2-cooling-systems/.
———. "Multi-Datacenter Training: OpenAI's Ambitious Plan To Beat Google's Infrastructure." September 4, 2024. https://semianalysis.com/2024/09/04/multi-datacenter-training-openais/.
TechPowerUp. "NVIDIA H100 PCIe 80 GB Specs." TechPowerUp GPU Database. 2025. https://www.techpowerup.com/gpu-specs/h100-pcie-80-gb.c3899.
TechTarget. "Liquid Cooling vs. Air Cooling in the Data Center." 2025. https://www.techtarget.com/searchdatacenter/feature/Liquid-cooling-vs-air-cooling-in-the-data-center.
Unisys. "How leading LLM developers are fueling the liquid cooling boom." 2025. https://www.unisys.com/blog-post/dws/how-leading-llm-developers-are-fueling-the-liquid-cooling-boom/.
Upsite Technologies. "How Rack Density and Delta T Impact Your Airflow Management Strategy." 2025. https://www.upsite.com/blog/rack-density-delta-t-impact-airflow-management-strategy/.
———. "When to Retrofit the Data Center to Accommodate AI, and When Not to." 2025. https://www.upsite.com/blog/when-to-retrofit-the-data-center-to-accommodate-ai-and-when-not-to/.
Uptime Institute. "Data Center Cooling Best Practices." 2025. https://journal.uptimeinstitute.com/implementing-data-center-cooling-best-practices/.
———. "Performance expectations of liquid cooling need a reality check." Uptime Institute Blog. 2025. https://journal.uptimeinstitute.com/performance-expectations-of-liquid-cooling-need-a-reality-check/.
Utility Dive. "The 2025 outlook for data center cooling." 2025. https://www.utilitydive.com/news/2025-outlook-data-center-cooling-electricity-demand-ai-dual-phase-direct-to-chip-energy-efficiency/738120/.
Vertiv. "Deploying liquid cooling in data centers: Installing and managing coolant distribution units (CDUs)." 2025. https://www.vertiv.com/en-us/about/news-and-insights/articles/blog-posts/deploying-liquid-cooling-in-data-centers-installing-and-managing-coolant-distribution-units-cdus/.
———. "Liquid and Immersion Cooling Options for Data Centers." 2025. https://www.vertiv.com/en-us/solutions/learn-about/liquid-cooling-options-for-data-centers/.
———. "Liquid cooling options for data centers." 2025. https://www.vertiv.com/en-us/solutions/learn-about/liquid-cooling-options-for-data-centers/.
———. "Quantifying the Impact on PUE and Energy Consumption When Introducing Liquid Cooling Into an Air-cooled Data Center." 2025. https://www.vertiv.com/en-emea/about/news-and-insights/articles/blog-posts/quantifying-data-center-pue-when-introducing-liquid-cooling/.
———. "Understanding direct-to-chip cooling in HPC infrastructure: A deep dive into liquid cooling." 2025. https://www.vertiv.com/en-emea/about/news-and-insights/articles/educational-articles/understanding-direct-to-chip-cooling-in-hpc-infrastructure-a-deep-dive-into-liquid-cooling/.
———. "Vertiv™ CoolPhase CDU | High Density Solutions." 2025. https://www.vertiv.com/en-us/products-catalog/thermal-management/high-density-solutions/vertiv-coolphase-cdu/.
WGI. "Cooling Down AI and Data Centers." 2025. https://wginc.com/cooling-down-ai-and-data-centers/.
