100kW超GPUラックの構築：電力分配と冷却アーキテクチャ
2025年12月8日更新
2025年12月更新： 100kWラックは今や目標ではなく標準となりました。NVIDIA GB200 NVL72システムはラックあたり120kWで稼働し、Vera Rubin NVL144は2026年までにラックあたり600kWを目指しています。ラック密度はすでに40kWから130kWに上昇し、2030年までに250kWに達する可能性があります。液体冷却の採用率はデータセンターの22%に達し、ダイレクト・トゥ・チップ方式が47%の市場シェアを占めています。今日100kW導入を計画している組織は、2〜5倍の密度増加に対応できるよう将来を見据えた設計が必要です。
1台の100kWラックはアメリカの80世帯分と同等の電力を消費し、30台の住宅用暖炉に相当する熱を発生させ、トヨタカムリ3台分以上の重量があります。¹ それでも世界中の組織がこれらのモンスターを構築しようと競い合っているのは、現代のAIトレーニングに前例のない計算密度が必要だからです。エンジニアリングの課題は、過去30年間のデータセンター設計を導いてきたあらゆる前提を覆すものです。
Microsoftの最新のAzure施設では、100kWラックが実験的な例外ではなく標準構成として導入されています。² CoreWeaveは120kWラック仕様を中心にデータセンター全体を構築しています。³ Oracle Cloud Infrastructureは次世代リージョンで150kW密度を目指しています。⁴ 従来の5〜10kWラック設計は、競争力のあるAI能力には極端な密度か極端な不動産が必要だと組織が気づくにつれ、古風なものに見えてきます。
AIインフラの数学が100kW超ラックを不可避なものにしています。NVIDIA DGX H100システムは8基のGPUで10.2kWを消費します。⁵ 今後登場するDGX B200はノードあたり14.3kWを消費します。⁶ 意味のあるトレーニングクラスターのために8ノードをスタックすると、ネットワーク機器を考慮する前に消費電力は100kWを超えます。これらのラックを構築できない組織は、大規模言語モデルの開発、創薬、自動運転車のトレーニングで競争できません。
電力分配アーキテクチャが従来の限界を突破
従来のデータセンターは30アンペア回路を通じて208V三相電力を分配し、ディレーティング後にラックあたり約10kWを供給していました。100kWラックには10本の別々の回路が必要となり、クリーン設計のあらゆる原則に違反する銅線のスパゲッティ状態が生まれます。アンペア数だけでも克服不可能な課題があります：208Vで100kWを供給するには480アンペアが必要で、野球のバットより太いケーブルが必要になります。
現代の100kW導入には、電流要件を削減するために415Vまたは480V配電が必須です。480V三相では、100kWは回路あたりわずか120アンペアで済み、4/0 AWG導体で管理可能です。⁷ ヨーロッパの施設は標準の415V配電により優位性を得ており、多くのハイパースケーラーが高密度インフラストラクチャのために北欧での展開を優先する理由となっています。北米の施設ではトランスのアップグレードと配電盤の交換が必要で、改修コストにメガワットあたり50万〜100万ドルが追加されます。⁸
電力分配ユニット（PDU）は100kWラック向けに洗練された電力管理システムへと進化しています。RaritanのPX4シリーズは、アウトレットごとの監視とリモートスイッチング機能を備え、最大130kWを供給する60個のアウトレットをインテリジェントに管理します。⁹ Server TechnologyのHDOT PDUは、デュアルフィード間の自動切替スイッチを備えた415V入力を提供し、電力会社のイベント中も継続運転を確保します。¹⁰ 各PDUのコストは15,000〜25,000ドルで、ほとんどの100kWラックには冗長性のために2台必要です。
バスウェイシステムは従来のケーブル配電に代わる優れた選択肢として浮上しています。Starline Track Buswayは415Vで1,600アンペアをオーバーヘッド導体を通じて供給し、単一フィードから複数の100kWラックドロップをサポートします。¹¹ 設置コストはリニアフィートあたり1,000ドルに達しますが、再配線なしで電力ドロップを再構成できる柔軟性により、施設のライフサイクル中に数百万ドルを節約できます。SiemensのSentronバスウェイシステムには、電力品質を追跡し、高調波分析を通じてメンテナンス要件を予測する統合監視機能が含まれています。¹²
直流配電は、供給電力の10〜15%を浪費する複数の変換段階を排除します。ローレンスバークレー国立研究所は、380V DC配電がデータセンターの総消費を7%削減しながら信頼性を向上させることを実証しました。¹³ Open Compute Projectの仕様では、熱を発生させ貴重なラックスペースを占有する電源を排除し、48V DCをサーバーボードに直接配電することが詳述されています。¹⁴ Facebookのプリンビル施設は完全にDC配電で稼働し、極端な計算密度にもかかわらずPUE 1.07を達成しています。¹⁵
冷却アーキテクチャはチップへの液体冷却を要求
空冷はラックあたり50kWを超えると物理的に不可能になります。熱力学は容赦ありません：100kWの熱を20°Fの温度上昇で除去するには、毎分35,000立方フィート（CFM）の空気を移動させる必要があります。¹⁶ その気流はコールドアイルにハリケーン級の風を生み出し、文字通り技術者を吹き飛ばします。たとえそれだけの空気を移動できたとしても、ファン電力だけで15〜20kWを消費し、効率目標を台無しにします。
リアドアヒートエクスチェンジャー（RDHx）は50〜75kW密度向けの移行的な冷却を提供します。MotivairのChilledDoorユニットは、ドアに取り付けられたラジエーターを通じた冷水循環により、ラックあたり最大75kWを除去します。¹⁷ CoolIT SystemsのCHx750は、熱負荷に適応する可変速ファンで同様の能力を達成します。¹⁸ この技術は機能しますが、100kW超の密度は最も先進的なRDHx設計でさえ圧倒します。必要な温度差は、機器の信頼性を脅かす結露リスクを生み出します。
真の100kW超導入には、コールドプレートへの直接液体冷却が必須となります。AsetekのInRackCDUは25°Cの冷却液をCPUおよびGPUコールドプレートに直接分配し、ラックあたり最大120kWを除去します。¹⁹ このシステムは最大負荷時でもチップ温度を70°C以下に維持し、空冷の85〜90°Cと比較されます。より低い動作温度はリーク電流を減少させ、冷却節約を超えて3〜5%のエネルギー効率を向上させます。²⁰
浸漬冷却は極端な密度に対する究極のソリューションです。SubmerのSmartPodXはサーバー全体を誘電体流体に浸し、わずか2.4平方メートルの床面積で100kWを処理します。²¹ GRCのICEraQ Series 10はタンクあたり最大368kWをサポートしますが、実用的な導入が200kWを超えることはまれです。²² ファンがないため、サーバー電力消費の10〜15%が排除され、機械部品の排除により故障率が70%低下します。²³
二相浸漬冷却はさらに限界を押し広げます。3MのFluorinert液体は精密に制御された温度で沸騰し、相変化により膨大な熱量を吸収します。²⁴ 蒸気は凝縮器に上昇し、そこで液体状態に戻り、ポンプを必要としない受動的な循環システムを作り出します。MicrosoftのProject Natickは、250kW/m²の熱流束にもかかわらず、二相冷却が一貫した35°Cのチップ温度を維持することを実証しました。²⁵ この技術は実験段階ですが、物理学は500kW超のラックを処理できる可能性を示唆しています。
構造工学が大規模な荷重に直面
フル装備の100kWラックは6,000〜8,000ポンドの重量があり、わずか10平方フィートに集中しています。²⁶ 1平方フィートあたり250ポンドの定格を持つ標準的なレイズドフロアは、そのような荷重で崩壊します。重量はサーバーだけではありません：銅ケーブルだけで500〜800ポンド、冷却液がさらに200〜300ポンド、ラック構造自体が500〜1,000ポンドの重量を追加します。地震地帯では、8,000ポンドの揺れる質量が地震時に隣接機器を破壊する可能性があるため、追加の課題に直面します。
スラブオングレード導入はレイズドフロアの制限を排除しますが、新たな課題を生み出します。コンクリートは最小限のたわみで1,000+ PSFの荷重に耐えるよう補強する必要があります。²⁷ エポキシコーティングされた鉄筋を使用したポストテンションコンクリートは、構造的完全性を損なう可能性のあるひび割れを防ぎます。スラブの厚さは従来のデータセンターの6〜8インチと比較して12〜18インチに増加します。基礎工事だけで建設コストに1平方フィートあたり50〜75ドルが追加されます。²⁸
構造用鉄骨フレームワークは荷重をより大きな面積に分散させます。Introlは100kWラックの荷重を40平方フィートに分散させ、点荷重を管理可能なレベルに削減するカスタム鉄骨プラットフォームを設計しています。フレームワークには統合されたケーブルトレイ、冷却液マニホールド、およびメンテナンスプラットフォームが含まれています。モジュラー設計により、改修プロジェクトに不可欠な施設のダウンタイムなしでの設置が可能です。各フレームワークのコストは25,000〜35,000ドルですが、数百万ドルのコストがかかる壊滅的な床の崩壊を防ぎます。
オーバーヘッドサポートシステムは床荷重を完全に排除します。Facebookのデータセンターは天井に取り付けられたレールからサーバーを吊り下げ、電力と冷却を上から供給します。²⁹ このアプローチには18〜20フィートの天井高が必要ですが、メンテナンスのための無制限の床アクセスが可能になります。Chatsworth ProductsのEvolution Cable Managementシステムは、オーバーヘッド構造からリニアフィートあたり500ポンドをサポートし、最も重い電力および冷却液配電に十分です。³⁰
地震地帯では免震が重要になります。WorkSafe TechnologiesのISO-Baseプラットフォームは、地震イベント時に機器を保護するためにボールベアリング免震を使用しています。³¹ プラットフォームは垂直安定性を維持しながら12インチの水平移動を可能にします。各プラットフォームは10,000ポンドをサポートし、コストは15,000〜20,000ドルですが、保険会社はカリフォルニア、日本、その他の活動的な地域で高価値コンピューティング機器に免震保護をますます要求しています。
ケーブル管理が指数関数的に増加
64基のGPUを収容する100kWラックには500本以上のケーブルが必要です：128本のInfiniBand接続、64本の管理ネットワークケーブル、96本の電源ケーブル、さらに数十本のセンサーおよび制御接続。各InfiniBandケーブルだけで、長さとデータレートに応じて500〜1,500ドルのコストがかかります。³² ラックあたりの総ケーブルコストは100,000ドルに近づき、管理が不十分だとエアフローと保守性の両方が損なわれます。
高速信号は信号完全性を維持するために精密なケーブルルーティングを要求します。200Gbpsで動作するInfiniBand HDRは、差動ペア長の不一致を3インチ未満しか許容しません。³³ ビットエラーを引き起こすインピーダンス変化を防ぐため、曲げ半径はケーブル直径の10倍を超える必要があります。Introlはレーザー測定システムを使用してケーブル長を1mm公差内で検証し、将来のトラブルシューティングのためにすべての接続を文書化しています。
ケーブル重量は予期しない課題を生み出します。それぞれ2〜3ポンドの500本のケーブルは、ラックインフラに1,000〜1,500ポンドを追加します。重量によりラックドアがたわみ、開けにくくなります。崩壊を防ぐために垂直ケーブルマネージャーを補強する必要があります。PanduitのNet-Verseキャビネットには、適切なルーティングを維持するために1Uごとに調整可能なフィンガーを備えた2,000ポンド定格の統合ケーブル管理が含まれています。³⁴
光ファイバーケーブルは重量を削減しますが、脆弱性の懸念を生み出します。単一の400G光トランシーバーのコストは2,000〜4,000ドルで、それらを接続する光ファイバーケーブルは簡単に損傷します。³⁵ シングルモードファイバーの最小曲げ半径はケーブル直径の20倍に増加します。技術者は信号品質を低下させるマイクロベンドを起こさずにファイバーを取り扱うための専門的なトレーニングが必要です。単一のホコリ粒子が50%の信号損失を引き起こす可能性があるため、クリーンな接続が重要になります。
ケーブルライフサイクル管理は高価なダウンタイムを防ぎます。すべてのケーブルには、設置日、テスト結果、およびメンテナンス履歴を含む文書化が必要です。IntrolはすべてのケーブルにRFIDタグを展開し、ハンドヘルドスキャナーで即座に識別できるようにしています。当社のケーブル管理データベースは、グローバル展開全体で5,000万の個別接続を追跡しています。予測分析は、曲げ半径違反、温度曝露、および経年に基づいて故障に近づいているケーブルを特定します。
冗長性アーキテクチャが継続運用を確保
100kWスケールでは単一障害点が壊滅的になります。PDUの故障は500万ドル相当のGPUをクラッシュさせます。冷却ポンプの故障は60秒以内にサーマルシャットダウンを引き起こします。従来のN+1冗長性は、故障の影響が10倍に増大する場合には不十分であることが判明します。現代の100kW導入では、ダウンタイムに対する保険として50%の遊休容量を受け入れ、電力と冷却に2N冗長性が必要です。
電力冗長性は、別々の変電所からのデュアルフィードによる電力引き込みから始まります。自動切替スイッチ（ATS）は、
[翻訳のため内容省略]
