xAIのメンフィス・コロッサス：10万GPUクラスターの解剖

2025年12月11日更新

2025年12月アップデート: コロッサスは現在、150,000基のH100 + 50,000基のH200 + 30,000基のGB200 GPUで構成されており、世界最大の単一コヒーレントAIトレーニングクラスターとなっている。初期10万GPUを122日で構築し、さらに92日で倍増。100万GPUへの拡張を計画中。メンフィスの公共電力網から250MWを引き込み、Spectrum-X Ethernetは従来のEthernetの60%に対し95%のスループットを達成している。

xAIのコロッサスクラスターは122日で構築され、テネシー州メンフィスの元家電工場に100,000基のNVIDIA H100 GPUを配備した。¹ その後xAIはさらに92日でシステムを200,000 GPUに倍増させた。² 現在このクラスターは150,000基のH100 GPU、50,000基のH200 GPU、30,000基のGB200 GPUで構成されており、世界最大の完全稼働・単一コヒーレントAIトレーニングクラスターとなっている。³ xAIは100万GPUへの拡張を計画している。⁴ このプロジェクトは、組織が従来の計画スケジュールよりもスピードを優先した場合の積極的なインフラ展開がどのようなものかを示している。

コロッサスプロジェクトは、大規模AIインフラを構築するあらゆる組織にとって教訓を提供する。電力、冷却、ネットワーク、施設選定に関する意思決定は、従来のアプローチでは遅すぎる場合に制約をどう克服できるかを明らかにしている。同時にそのトレードオフは、より方法論的な展開では回避できるリスクも示している。

建設スケジュールとアプローチ

マスクはデータセンター建設に関して当初18〜24ヶ月の見積もりを受け取った。⁵ そのスケジュールを拒否し、xAIはメンフィスの元Electrolux工場を見つけた。この家電メーカーは2012年に開設し、2020年に閉鎖していた。⁶ この廃墟となった施設は、広大な倉庫スペースと初期産業用電力15メガワットを提供した。⁷

SupermicroのCEOチャールズ・リャンは、同社がxAIと協力して巨大なコロッサスデータセンターを122日で構築したことを確認した。⁸ Dell TechnologiesとSupermicroの両社がxAIと建設でパートナーシップを組んだ。⁹ 圧縮されたスケジュールには、施設準備、電力インフラ、冷却システム、コンピュート配備にわたる並行作業が必要だった。

100,000 GPUクラスターは、それぞれ8基のGPUを搭載したHGXサーバーを使用し、ラックあたり64 GPUのSupermicro液冷ラックに収容されている。¹⁰ 総展開数は1,500のGPUラックで構成されている。¹¹ ラック密度は当初から液冷を必要とし、Supermicroの4U液冷システムが熱管理を提供した。¹²

初期展開から3ヶ月後、xAIは200,000 GPUへの拡張と100万までのスケーリング継続計画を発表した。¹³ この拡張は、インフラアーキテクチャが根本的な再設計なしに成長を収容できることを実証した。

前例のない規模の電力インフラ

コロッサス施設は現在、初期の150メガワット構成から増加し、約250メガワットを消費している。¹⁴ xAIはTesla Megapackバッテリーシステムと並行して、420メガワットの発電能力を持つ35基のガスタービンを設置した。¹⁵ このハイブリッドアプローチはベースロード電力とグリッド独立性の両方を提供する。

xAIは最初のMLGW変電所を97日で設計・建設し、通常2.5年かかる150メガワット変電所を完成させた。¹⁶ この加速にはMemphis Light, Gas and Waterと協力しながら、同時に一時的な電力ソリューションを展開する必要があった。

同社は208基のTesla Megapackを配備してスーパーコンピュータに電力を供給し、当初はMLGWグリッドから隔離していた。¹⁷ Megapackは大量の電力を蓄積し、グリッド障害時のバックアップを提供し、恒久的な公共接続が完了する前の運用を可能にした。

Solaris Energy Infrastructureは600メガワットのガスタービン群を所有しており、約400メガワットが現在xAIに供給されている。¹⁸ xAIはSolarisの1,700メガワットの受注残の67%を占め、合計1,140メガワットに達する。¹⁹ Solarisは2027年第2四半期までにxAI向けに1.1ギガワット以上の完全稼働タービンを保有する予定だ。²⁰

Tulane Roadサイトでのコロッサス2拡張には、約170メガワットの電力負荷を持つ少なくとも110,000基のNVIDIA GB200 GPUが含まれる。²¹ 追加のMegapackとタービン容量が拡張されたフットプリントをサポートする。

xAIはスーパーコンピュータに電力を供給するガス燃焼タービンの許可を取得した。²² この許可は2027年に失効し、その時点までにxAIはコロッサスキャンパスに資金提供・建設された2つのMLGW変電所を含む複数の電源に依存する予定だ。²³ xAIはサイト近くに500エーカーの太陽光発電所の建設を開始する計画だ。²⁴

冷却システムと水インフラ

当初から、xAIは水をトラックで運び、内部の閉ループシステムで再循環させてスーパーコンピュータを冷却した。²⁵ この非従来型のアプローチにより、恒久的な水インフラが完成する前に運用が可能になった。xAIは長期的な水需要に対応するため、8,000万ドルの廃水リサイクル施設を建設することを約束した。²⁶

同社は世界最大のセラミック膜バイオリアクター廃水リサイクルプラントを計画している。²⁷ 完成すれば、この施設は推定47億4,500万ガロンの帯水層水を保護する。²⁸ 建設中の巨大な中水冷却塔は、近くの中水プラントからコロッサスに冷却された再生水を送る。²⁹

コロッサス2はハイブリッド冷却アプローチを使用している。冷却の約半分はxAIの中水施設から供給され、残りの半分は空冷を使用している。³⁰ 2025年8月までに、119基の空冷チラーが約200メガワットの冷却能力を提供し、約110,000基のGB200 NVL72 GPUに十分な容量となった。³¹

初期建設段階で、xAIは発電機と米国のモバイル冷却能力の約4分の1をリースして運用を迅速に開始した。³² 一時的なインフラの積極的な調達により、恒久的なシステムが完成する間、圧縮されたスケジュールが可能になった。

Spectrum-X Ethernetネットワーク

InfiniBandを使用するほとんどのAIトレーニングクラスターとは異なり、xAIのコロッサスはRDMAネットワークにNVIDIAのSpectrum-X Ethernetプラットフォームを使用している。³³ この選択は、適切に構成されればEthernetが最大規模のAIトレーニングクラスターをサポートできることを示している。

コロッサスは51.2テラビット/秒のSpectrum SN5600を使用し、2Uフォームファクタで64個の800ギガビットEthernetポートを提供する。³⁴ 個々のノードはNVIDIAのBlueField-3 SuperNICを使用し、各GPUへの単一の400ギガビット接続を備えている。³⁵

ネットワークはファブリックの3層すべてでフローコリジョンによるアプリケーションレイテンシの劣化やパケットロスをゼロに達成した。³⁶ システムはSpectrum-X輻輳制御によって有効化された95%のデータスループットを維持した。³⁷ 標準的なEthernetは、数千のフローコリジョンのため、この規模では通常60%のスループットしか提供できない。³⁸

従来のEthernetネットワークは、数千のGPUが同時に通信する際のインキャスト問題に苦慮する。³⁹ InfiniBandは従来、組み込みのPriority Flow Controlとハードウェアレベルの輻輳管理でこれを解決してきた。⁴⁰ Spectrum-Xは強化された輻輳制御メカニズムを備えたRoCE v2を使用して同様の結果を達成する。⁴¹

Ethernetアプローチは、パフォーマンスを維持しながらInfiniBandと比較してコスト上のメリットと柔軟性を提供する。Direct Data Placement技術を備えたアダプティブルーティング、輻輳制御、強化されたAIファブリック可視性を含むSpectrum-X機能により、EthernetインフラでInfiniBand同等のパフォーマンスが実現される。⁴²

規模比較

200,000 GPUのコロッサスは、他の主要なスーパーコンピュータを大幅に上回っている。⁴³ Oracleのゼタスケールスケールスーパーコンピュータは131,072基のNVIDIA GPUを搭載している。⁴⁴ ローレンスリバモア国立研究所のEl Capitanは44,544基のGPUを持つ。⁴⁵ オークリッジ国立研究所のFrontierは37,632基のGPUを持つ。⁴⁶

xAIの仕様によると、コロッサスは合計194ペタバイト/秒のメモリ帯域幅を達成し、ストレージ容量は1エクサバイトを超える。⁴⁷ このメモリ帯域幅により、AIトレーニングが数十万のGPU間で必要とする集合操作が可能になる。

このクラスターはxAIのGrokチャットボットをトレーニングし、SpaceXを含むマスクの他のベンチャーやXにコンピューティングサポートを提供している。⁴⁸ 多目的利用により、複数の事業分野にわたるインフラ投資が正当化される。

コロッサス2拡張

xAIは2025年3月7日にコロッサス2プロジェクトを開始し、メンフィスで100万平方フィートの倉庫と合計100エーカーの2つの隣接サイトを取得した。⁴⁹ Tulane Roadサイトが拡張されたGPU群をホストする。

拡張は350,000 GPUを目標とし、高グリッド負荷時のバックアップ電力用に世界最大のTesla Megapackバッテリー配備を伴う。⁵⁰ サイトにはGPUインフラと並んで60〜70基のMegapackが設置される予定だ。⁵¹

メンフィス商工会議所によると、xAIは合計100万GPUへの拡張を意図している。⁵² その規模の達成には、現在の容量を超える継続的な電力インフラ開発が必要だ。Solarisが2027年に計画している1.1ギガワットは、現在の密度レベルで約50万の高電力GPUをサポートできる。

インフラからの教訓

コロッサスプロジェクトは、AIインフラ展開を加速するいくつかのアプローチを示している。

施設の再利用はスケジュールを劇的に圧縮できる。既存の電力インフラを備えた産業施設を見つけることで、新規建設が必要とする建設時間が排除された。廃止された産業施設にアクセスできる組織は、迅速なAIインフラ展開の機会を見つけられるかもしれない。

一時的なインフラは並行パスを可能にする。発電機、モバイル冷却のリース、水のトラック輸送により、恒久的なインフラが完成する間に運用を開始できた。一時的なソリューションのコストプレミアムは、運用開始までの時間が競争上のポジションを決定する場合に価値があるかもしれない。

Ethernetは最大規模のクラスターをサポートできる。Spectrum-Xの展開は、大規模AIトレーニングにInfiniBandが必須ではないことを証明している。Ethernetの専門知識とインフラを持つ組織は、最大規模の展開でもInfiniBandを採用する必要がないかもしれない。

電力は依然として主要な制約である。バッテリーストレージ、ガスタービン、加速された変電所建設を含む創造的なソリューションにもかかわらず、電力の可用性が展開の速度と規模を制限した。大規模AIクラスターを計画する組織は、まず電力容量を確保すべきだ。

トレードオフには、規制上の課題、コミュニティとの関係の問題、圧縮されたスケジュールからの技術的リスクが含まれる。xAIのガスタービン許可は2027年に失効し、移行要件が生じる。⁵³ 地元当局はxAIの運用への可視性が限られていることに懸念を表明した。⁵⁴ 競争優位を可能にするスピードは、より遅い展開では回避できる技術的負債を生み出す可能性がある。

クイックリファレンス：コロッサス仕様

主要ポイント

インフラリーダー向け： - 従来のDC見積もり：18〜24ヶ月；xAIは施設再利用により122日で提供 - 一時的インフラ（リース発電機、モバイル冷却、トラック輸送水）は並行パスを可能にする - 電力が依然として主要な制約—GPU調達前に容量を確保 - Spectrum-X Ethernetは20万GPUスケールで実証され、InfiniBandの必要性に疑問を呈する

施設チーム向け： - 廃止された産業施設は迅速な展開機会を提供 - 250 MWには複数の電源が必要—ガスタービン、バッテリー、公共変電所 - 中水リサイクルは大規模な水の懸念に対応—8,000万ドルの施設で47億ガロンの帯水層を保護 - 119基の空冷チラーが約200 MWの冷却能力を提供

戦略計画向け： - スピードvs.持続可能性のトレードオフ：ガスタービン許可は2027年に失効 - 圧縮されたスケジュールは方法論的な展開では回避できる技術的負債を生み出す - 多目的利用（Grok、X、SpaceX）がインフラ投資を正当化 - 100万GPU目標には

[翻訳のためコンテンツを省略]