100kW+ GPU 랙 구축: 전력 분배 및 냉각 아키텍처
2025년 12월 8일 업데이트
2025년 12월 업데이트: 100kW 랙은 이제 목표가 아닌 표준이 되었습니다. NVIDIA GB200 NVL72 시스템은 랙당 120kW로 운영되며, Vera Rubin NVL144는 2026년까지 랙당 600kW를 목표로 합니다. 랙 밀도는 이미 40kW에서 130kW로 상승했으며, 2030년까지 250kW에 도달할 가능성이 있습니다. 액체 냉각 채택률은 데이터 센터의 22%에 달했으며, 칩 직접 냉각 방식이 47%의 시장 점유율을 차지하고 있습니다. 오늘날 100kW 배포를 계획하는 조직은 2~5배의 밀도 증가에 대비해야 합니다.
단일 100kW 랙은 미국 80가구와 동일한 전력을 소비하고, 30대의 가정용 난방기에 해당하는 열을 발생시키며, Toyota Camry 3대보다 무겁습니다.¹ 그럼에도 전 세계 조직들이 이러한 거대한 시스템을 구축하기 위해 경쟁하는 이유는 현대 AI 훈련에 전례 없는 컴퓨팅 밀도가 필요하기 때문입니다. 이러한 엔지니어링 과제는 지난 30년간 데이터 센터 설계를 이끌어온 모든 가정을 뒤엎습니다.
Microsoft의 최신 Azure 시설은 실험적인 사례가 아닌 표준 구성으로 100kW 랙을 배포합니다.² CoreWeave는 120kW 랙 사양을 중심으로 전체 데이터 센터를 구축합니다.³ Oracle Cloud Infrastructure는 차세대 리전에서 150kW 밀도를 향해 나아가고 있습니다.⁴ 조직들이 경쟁력 있는 AI 역량을 갖추려면 극한의 밀도 또는 방대한 부지가 필요하다는 것을 깨달으면서 기존의 5-10kW 랙 설계는 구식으로 보이게 되었습니다.
AI 인프라의 수학은 100kW+ 랙을 불가피하게 만듭니다. NVIDIA DGX H100 시스템은 8개의 GPU에 10.2kW를 소비합니다.⁵ 곧 출시될 DGX B200은 노드당 14.3kW를 소비할 것입니다.⁶ 의미 있는 훈련 클러스터를 위해 8개 노드를 쌓으면 네트워킹 장비를 고려하기도 전에 전력 소비가 100kW를 초과합니다. 이러한 랙을 구축할 수 없는 조직은 대규모 언어 모델 개발, 신약 발견, 자율주행차 훈련에서 경쟁할 수 없습니다.
전력 분배 아키텍처가 기존 한계를 넘어서다
기존 데이터 센터는 30암페어 회로를 통해 208V 삼상 전력을 분배하여 용량 감소 후 랙당 약 10kW를 제공합니다. 100kW 랙은 10개의 별도 회로가 필요하여 깔끔한 설계의 모든 원칙을 위반하는 구리 케이블 난맥상을 만들게 됩니다. 전류량만으로도 극복하기 어려운 과제가 됩니다: 208V에서 100kW를 전달하려면 480암페어가 필요하며, 야구 배트보다 두꺼운 케이블이 요구됩니다.
현대의 100kW 배포는 전류 요구량을 줄이기 위해 415V 또는 480V 분배를 필수로 합니다. 480V 삼상에서 100kW는 회로당 120암페어만 필요하며, 4/0 AWG 도체로 관리할 수 있습니다.⁷ 유럽 시설은 표준 415V 분배를 통해 이점을 얻으며, 이는 많은 하이퍼스케일러들이 고밀도 인프라를 위해 북유럽 배포를 우선시하는 이유를 설명합니다. 북미 시설은 변압기 업그레이드와 배전반 교체가 필요하여 메가와트당 50만~100만 달러의 개조 비용이 추가됩니다.⁸
전력 분배 장치(PDU)는 100kW 랙을 위한 정교한 전력 관리 시스템으로 진화합니다. Raritan의 PX4 시리즈는 콘센트별 모니터링 및 원격 스위칭 기능과 함께 최대 130kW를 제공하는 60개의 콘센트를 지능적으로 관리합니다.⁹ Server Technology의 HDOT PDU는 415V 입력과 이중 피드 간 자동 전환 스위칭을 제공하여 유틸리티 이벤트 중에도 지속적인 운영을 보장합니다.¹⁰ 각 PDU의 가격은 15,000~25,000달러이며, 대부분의 100kW 랙은 이중화를 위해 2개가 필요합니다.
버스웨이 시스템은 기존 케이블 분배의 우수한 대안으로 부상합니다. Starline Track Busway는 오버헤드 도체를 통해 415V에서 1,600암페어를 전달하며, 단일 피드에서 여러 100kW 랙 드롭을 지원합니다.¹¹ 설치 비용은 선형 피트당 1,000달러에 달하지만, 재배선 없이 전력 드롭을 재구성할 수 있는 유연성은 시설 수명 주기 동안 수백만 달러를 절약합니다. Siemens의 Sentron 버스웨이 시스템에는 전력 품질을 추적하고 고조파 분석을 통해 유지보수 요구사항을 예측하는 통합 모니터링이 포함되어 있습니다.¹²
직류 분배는 전달되는 전력의 10-15%를 낭비하는 여러 변환 단계를 제거합니다. Lawrence Berkeley National Laboratory는 380V DC 분배가 신뢰성을 향상시키면서 총 데이터 센터 소비를 7% 줄인다는 것을 입증했습니다.¹³ Open Compute Project 사양은 서버 보드에 직접 48V DC를 분배하여 열을 발생시키고 귀중한 랙 공간을 차지하는 전원 공급 장치를 제거하는 방법을 상세히 설명합니다.¹⁴ Facebook의 Prineville 시설은 전적으로 DC 분배로 운영되어 극한의 컴퓨팅 밀도에도 불구하고 1.07의 PUE를 달성합니다.¹⁵
냉각 아키텍처는 칩에 직접 액체를 요구한다
공기 냉각은 랙당 50kW 이상에서 물리적으로 불가능해집니다. 열역학은 용서가 없습니다: 100kW의 열을 제거하려면 20°F의 온도 상승과 함께 분당 35,000 입방피트(CFM)의 공기를 이동시켜야 합니다.¹⁶ 그 정도의 공기 흐름은 콜드 아일에 허리케인 수준의 바람을 만들어 기술자들을 말 그대로 날려버릴 것입니다. 설령 그만큼의 공기를 이동시킬 수 있다 해도, 팬 전력만으로 15-20kW를 소비하여 효율성 목표를 무산시킬 것입니다.
후면 도어 열교환기(RDHx)는 50-75kW 밀도를 위한 과도기적 냉각을 제공합니다. Motivair의 ChilledDoor 장치는 도어 장착형 라디에이터를 통한 냉수 순환을 사용하여 랙당 최대 75kW를 제거합니다.¹⁷ CoolIT Systems의 CHx750은 열 부하에 맞춰 조절되는 가변 속도 팬으로 유사한 용량을 달성합니다.¹⁸ 이 기술은 작동하지만, 100kW+ 밀도는 가장 진보된 RDHx 설계조차 압도합니다. 필요한 온도 차이는 장비 신뢰성을 위협하는 결로 위험을 만들 것입니다.
콜드 플레이트에 직접 액체 냉각을 하는 것이 진정한 100kW+ 배포에 필수가 됩니다. Asetek의 InRackCDU는 25°C의 냉각수를 CPU 및 GPU 콜드 플레이트에 직접 분배하여 랙당 최대 120kW를 제거합니다.¹⁹ 이 시스템은 최대 부하에서도 칩 온도를 70°C 이하로 유지하며, 이는 공기 냉각의 85-90°C와 비교됩니다. 더 낮은 작동 온도는 누설 전류를 줄여 냉각 절감을 넘어 3-5%의 에너지 효율 향상을 제공합니다.²⁰
침수 냉각은 극한 밀도를 위한 궁극적인 솔루션입니다. Submer의 SmartPodX는 전체 서버를 유전체 유체에 침수시켜 단 2.4평방미터의 바닥 공간에서 100kW를 처리합니다.²¹ GRC의 ICEraQ Series 10은 탱크당 최대 368kW를 지원하지만, 실제 배포는 200kW를 거의 초과하지 않습니다.²² 팬이 없어 서버 전력 소비의 10-15%가 제거되고 기계적 구성 요소 제거를 통해 고장률이 70% 감소합니다.²³
2상 침수 냉각은 한계를 더욱 확장합니다. 3M의 Fluorinert 액체는 정밀하게 제어된 온도에서 끓으며, 상변화가 엄청난 양의 열을 흡수합니다.²⁴ 증기는 응축기로 상승하여 다시 액체 상태로 돌아가며, 펌프가 필요 없는 수동 순환 시스템을 만듭니다. Microsoft의 Project Natick은 250kW/m²의 열유속에도 불구하고 2상 냉각이 일관된 35°C 칩 온도를 유지하는 것을 입증했습니다.²⁵ 이 기술은 여전히 실험적이지만, 물리학은 랙당 500kW+를 처리할 수 있음을 시사합니다.
구조 엔지니어링이 거대한 하중에 직면하다
완전히 장착된 100kW 랙의 무게는 6,000-8,000파운드로, 단 10평방피트에 집중됩니다.²⁶ 평방피트당 250파운드로 설계된 표준 이중 바닥은 이러한 하중 아래에서 붕괴됩니다. 무게는 단순히 서버만이 아닙니다: 구리 케이블만으로 500-800파운드가 추가되고, 냉각수가 200-300파운드를 더하며, 랙 구조 자체가 500-1,000파운드입니다. 지진 지역에서는 8,000파운드의 흔들리는 질량이 지진 중 인접 장비를 파괴할 수 있어 추가적인 과제에 직면합니다.
슬래브 온 그레이드 배포는 이중 바닥의 한계를 제거하지만 새로운 과제를 만듭니다. 콘크리트는 최소한의 처짐으로 1,000+ PSF 하중을 처리하도록 보강되어야 합니다.²⁷ 에폭시 코팅 철근을 사용한 포스트텐션 콘크리트는 구조적 무결성을 손상시킬 수 있는 균열을 방지합니다. 슬래브 두께는 기존 데이터 센터의 6-8인치에 비해 12-18인치로 증가합니다. 기초 공사만으로 평방피트당 50-75달러의 건설 비용이 추가됩니다.²⁸
구조용 강철 프레임워크는 더 넓은 영역에 하중을 분산시킵니다. Introl은 100kW 랙 하중을 40평방피트에 분산시켜 점 하중을 관리 가능한 수준으로 줄이는 맞춤형 강철 플랫폼을 설계합니다. 프레임워크에는 통합 케이블 트레이, 냉각수 매니폴드 및 유지보수 플랫폼이 포함됩니다. 모듈식 설계로 시설 가동 중단 없이 설치할 수 있어 개조 프로젝트에 필수적입니다. 각 프레임워크의 비용은 25,000-35,000달러이지만 수백만 달러의 비용이 드는 치명적인 바닥 붕괴를 방지합니다.
오버헤드 지지 시스템은 바닥 하중을 완전히 제거합니다. Facebook의 데이터 센터는 천장에 장착된 레일에서 서버를 매달고, 전력과 냉각은 위에서 전달됩니다.²⁹ 이 접근 방식은 18-20피트의 천장 높이가 필요하지만 유지보수를 위한 무제한 바닥 접근이 가능합니다. Chatsworth Products의 Evolution Cable Management 시스템은 오버헤드 구조물에서 선형 피트당 500파운드를 지원하며, 가장 무거운 전력 및 냉각수 분배에 충분합니다.³⁰
지진 격리는 지진 지역에서 필수가 됩니다. WorkSafe Technologies의 ISO-Base 플랫폼은 볼 베어링 격리를 사용하여 지진 중 장비를 보호합니다.³¹ 플랫폼은 수직 안정성을 유지하면서 12인치의 수평 이동을 허용합니다. 각 플랫폼은 10,000파운드를 지원하며 비용은 15,000-20,000달러이지만, 보험 회사들은 캘리포니아, 일본 및 기타 활성 지역의 고가치 컴퓨팅 장비에 점점 더 지진 보호를 요구하고 있습니다.
케이블 관리가 기하급수적으로 증가하다
64개의 GPU를 호스팅하는 100kW 랙은 500개 이상의 케이블이 필요합니다: 128개의 InfiniBand 연결, 64개의 관리 네트워크 케이블, 96개의 전원 케이블, 그리고 수십 개의 센서 및 제어 연결. 각 InfiniBand 케이블만으로도 길이와 데이터 속도에 따라 500-1,500달러의 비용이 듭니다.³² 랙당 총 케이블 비용은 100,000달러에 달하며, 잘못된 관리는 공기 흐름과 서비스 가능성을 모두 파괴합니다.
고속 신호는 신호 무결성을 유지하기 위해 정밀한 케이블 라우팅을 요구합니다. 200Gbps로 작동하는 InfiniBand HDR은 3인치 미만의 차동 쌍 길이 불일치를 허용합니다.³³ 곡률 반경은 비트 오류를 일으키는 임피던스 변화를 방지하기 위해 케이블 직경의 10배를 초과해야 합니다. Introl은 레이저 측정 시스템을 사용하여 케이블 길이를 1mm 공차 내로 확인하고, 향후 문제 해결을 위해 모든 연결을 문서화합니다.
케이블 무게는 예상치 못한 과제를 만듭니다. 각각 2-3파운드인 500개의 케이블은 랙 인프라에 1,000-1,500파운드를 추가합니다. 무게로 인해 랙 도어가 처져 열기 어려워집니다. 수직 케이블 관리자는 붕괴를 방지하기 위해 보강되어야 합니다. Panduit의 Net-Verse 캐비닛에는 2,000파운드로 설계된 통합 케이블 관리가 포함되어 있으며, 적절한 라우팅을 유지하기 위해 1U마다 조절 가능한 핑거가 있습니다.³⁴
광섬유 케이블은 무게를 줄이지만 취약성 문제를 야기합니다. 단일 400G 광학 트랜시버의 비용은 2,000-4,000달러이며, 이를 연결하는 광섬유 케이블은 쉽게 손상됩니다.³⁵ 단일 모드 광섬유의 최소 곡률 반경은 케이블 직경의 20배로 증가합니다. 기술자들은 신호 품질을 저하시키는 마이크로벤드를 유발하지 않고 광섬유를 다루기 위한 전문 교육이 필요합니다. 단일 먼지 입자가 50%의 신호 손실을 유발할 수 있어 깨끗한 연결이 중요해집니다.
케이블 수명 주기 관리는 비용이 많이 드는 다운타임을 방지합니다. 모든 케이블은 설치 날짜, 테스트 결과 및 유지보수 이력을 포함한 문서화가 필요합니다. Introl은 모든 케이블에 RFID 태그를 배포하여 휴대용 스캐너로 즉시 식별할 수 있게 합니다. 당사의 케이블 관리 데이터베이스는 전 세계 배포에서 5천만 개의 개별 연결을 추적합니다. 예측 분석은 곡률 반경 위반, 온도 노출 및 노후화를 기반으로 고장에 가까워지는 케이블을 식별합니다.
이중화 아키텍처가 지속적인 운영을 보장하다
100kW 규모에서 단일 장애점은 치명적입니다. PDU 장애는 500만 달러 상당의 GPU를 중단시킬 것입니다. 냉각 펌프 장애는 60초 내에 열 차단을 유발할 것입니다. 기존의 N+1 이중화는 장애 영향이 10배로 증가할 때 불충분합니다. 현대의 100kW 배포는 전력과 냉각에 2N 이중화를 요구하며, 다운타임에 대한 보험으로 50%의 유휴 용량을 수용합니다.
전력 이중화는 별도의 변전소에서 이중 피드로 유틸리티 진입점에서 시작됩니다. 자동 전환 스위치(ATS)는
[번역을 위해 내용 축소됨]
