AI向け800Gネットワーキング：次世代GPUファブリックの計画

2025年12月11日更新

2025年12月更新： NVIDIAのQuantum-X800 InfiniBandおよびSpectrum-X800 Ethernetプラットフォームが量産出荷を開始。Microsoft AzureはGB200/GB300クラスタ向けに800Gフルファットツリー・ノンブロッキングファブリックを展開中。Ultra Ethernet Consortiumは1.6Tの試験が始まる中、AI固有の拡張を加速。電力密度が依然として展開上の制約となっており、800Gモジュールはポートあたり14〜20Wを消費し、ラック冷却設計に負荷をかけている。

2025年、AIクラスタにおけるスイッチポート出荷の大半は800ギガビット毎秒で動作している。¹ 2027年までには大半が1.6テラビットに移行し、2030年までにはほとんどのポートが3.2テラビットで稼働する。² これは、データセンターネットワークの電気層が各帯域幅世代で交換を必要とすることを意味し、従来のエンタープライズネットワーキングで見られたものよりもはるかに積極的なアップグレードサイクルとなる。AIインフラストラクチャを計画する組織は、過去のどの技術世代よりも速く発生するネットワーキング移行を考慮に入れなければならない。

NVIDIAのネットワーキング収益は前年比でほぼ倍増し73億ドルに達した。これはSpectrum-X Ethernet、InfiniBand XDR、およびNVLinkスケールアップシステムの強力な採用によるものである。³ Spectrum-Xは年間換算100億ドルのランレートを超えた。⁴ この投資は、AI向けネットワーキングが従来のデータセンターネットワーキングとは異なる市場であり、専用の製品開発とインフラストラクチャ計画を正当化する要件と経済性を持っていることを示している。

800Gが2025年の標準に

業界調査とベンダーのロードマップは、800G光学部品を2025年の新規AIクラスタおよび大規模データセンター展開における主要技術として位置づけており、特にOSFPおよびQSFP-DDフォームファクターにおいて顕著である。⁵ ベンダーとアナリストは、800Gトランシーバーが大規模AIファブリックの主力となり、1.6Tの早期試験がすでに開発中であると予測している。⁶

NVIDIAのBlackwell Ultraプラットフォームの急速な立ち上げにより、800 Gbps InfiniBandスイッチへの強い需要が生まれ、2025年第2四半期のInfiniBandスイッチ販売の急増を牽引した。⁷ AIバックエンドネットワークにおけるInfiniBandスイッチの販売が急増する一方、Ethernetは全体的なリードを維持している。800 GbpsスイッチはAIバックエンドネットワークにおけるEthernetとInfiniBandの両方のスイッチ出荷と収益の大部分を占めている。⁸

Microsoftの最新のNVIDIA GB200およびGB300展開は、ラックレベルでNVLinkとNVSwitchを介してテラバイト毎秒で通信している。⁹ 複数のラックをポッドに接続するために、AzureはInfiniBandとEthernetの両方のファブリックを使用し、フルファットツリー・ノンブロッキングアーキテクチャで800 Gbpsを提供している。¹⁰ このハイブリッドアプローチは、大規模AIインフラストラクチャにおける異なるネットワーキング技術の補完的な役割を反映している。

400Gおよび800Gモジュールを含むAI駆動型光接続は、大規模AIトレーニングおよび推論クラスタにより、2030年に向けて年平均22%以上の成長率で拡大する。¹¹ この成長軌道は、AIネットワーキング要件の複数年にわたる拡大を見越したインフラストラクチャ投資を正当化する。

NVIDIAの800Gネットワーキングプラットフォーム

NVIDIA Quantum-X800 InfiniBandおよびSpectrum-X800 Ethernetは、エンドツーエンドで800Gb/sのスループットを実現できる世界初のネットワーキングプラットフォームである。¹² Quantum-X800プラットフォームは、兆パラメータ規模のAIモデル向けに特化して構築されており、Quantum-X800 InfiniBandスイッチ、ConnectX-8 SuperNIC、ConnectX-9 SuperNIC、およびLinkXケーブルとトランシーバーを含む。¹³

Quantum-X800 InfiniBandスイッチは、ポートあたり800 Gb/sの接続を144ポート提供する。¹⁴ このポート密度により、スイッチング階層を削減した大規模ファブリックの構築が可能となり、レイテンシと複雑性が低減される。最大規模のAIモデルをトレーニングする組織にとって、InfiniBandは引き続き最低のレイテンシと大規模での最高の性能一貫性を提供する。

NVIDIAのQuantum-XおよびSpectrum-X Photonicsスイッチは、シリコンフォトニクスをスイッチパッケージに直接統合し、128〜512ポートの800 Gb/sを提供し、総帯域幅は100 Tb/sから400 Tb/sに及ぶ。¹⁵ この統合により、従来の光学部品と比較して3.5倍の電力効率と10倍の耐障害性を実現している。¹⁶

Cisco Nexus Hyperfabric AIは、クラウド管理型のCisco G200 Silicon Oneスイッチを搭載し、高密度800G Ethernetを提供しており、現在AI PODの展開オプションとして注文可能である。¹⁷ AIネットワーキングにおけるCiscoとNVIDIAのパートナーシップは、従来のエンタープライズネットワーキングベンダーがAIインフラストラクチャ要件にどのように適応しているかを示している。

InfiniBand対Ethernetの考慮事項

Ethernetはコストとエコシステムの優位性により、ほとんどのエンタープライズAI展開で主流となる一方、InfiniBandは超大規模AIおよびHPCクラスタで選択され続ける。¹⁸ この区別はインフラストラクチャ計画において重要である：組織は慣れ親しんだオプションをデフォルトにするのではなく、ワークロードの特性に基づいて技術を選択すべきである。

InfiniBandは約1〜2マイクロ秒の低レイテンシと大規模での優れた性能一貫性を提供する。¹⁹ RoCEv2を使用したEthernetは約5〜10マイクロ秒のレイテンシを提供し、AIワークロード向けにチューニングできる。²⁰ レイテンシの差は、数千のGPUにわたって集合操作が同期するトレーニングジョブにおいて重要となる。同期要件の低い推論ワークロードでは、InfiniBandのレイテンシ優位性の恩恵を受けられない可能性がある。

アナリストは、800Gが普及し1.6Tが形を成すにつれて、EthernetがAIネットワーキングでより主要な技術となり、InfiniBandを上回ると予測している。²¹ NVIDIAがUltra Ethernet Consortiumの創設メンバーとなり、AI最適化されたSpectrum-X 800G Ethernetスイッチをリリースしたことは、EthernetのAI未来への自信を示している。²² Ultra Ethernet ConsortiumはAIワークロード向けに特化した拡張を開発している。

高性能でロスレスな800G Ethernetファブリックを展開することで、AI投資の価値を最大化できる。²³ ネットワークは中枢神経系として機能し、効率と投資収益率の最大化に不可欠である。ネットワークファブリックの微調整により、ジョブ完了時間が短縮され、高いGPU使用率が確保される。²⁴

移行の課題と計画

800G光学部品は、移行計画中に組織が対処すべき新たな課題をもたらす。電力と熱密度が大幅に増加し、800Gモジュールは14〜20ワット以上を消費し、スイッチの冷却設計とラックの電力バジェットに負荷をかける。²⁵ 組織は、既存のインフラストラクチャが増加した電力と冷却要件をサポートできるかどうかを確認する必要がある。

ファイバー管理はより複雑になる。800Gへの移行には、より多くのファイバー数、MTPケーブル、およびより厳格な極性と清浄度の要件が必要となることが多い。²⁶ 100Gや400Gで機能していた物理層インフラストラクチャは、アップグレードなしでは800Gをサポートできない可能性がある。ケーブルプラント投資は、インフラストラクチャの繰り返し交換を避けるために、将来の帯域幅要件を見越すべきである。

スイッチベンダーとNIC間の相互運用性と検証には、慎重な計画が必要である。²⁷ マルチベンダー環境では、均質な展開では回避できる互換性の問題が発生する可能性がある。組織は、本番展開前にラボ環境で相互運用性を検証すべきである。

800Gから1.6T、そして3.2Tへの5年未満の積極的なアップグレードサイクルは、歴史的なネットワーキング移行とは異なる。計画では、従来のデータセンターネットワーキングが経験したよりも頻繁なインフラストラクチャ交換を考慮すべきである。コンポーネントレベルのアップグレードを可能にするモジュラー設計により、総交換コストを削減できる可能性がある。

戦略的推奨事項

AIインフラストラクチャを計画する組織は、GPU選定に適用するのと同じ厳密さでネットワーキング要件を評価すべきである。ネットワークは、高価なGPUリソースがどれだけ効果的に活用されるかを決定する。ネットワーキングへの過少投資は、GPU容量を無駄にするボトルネックを生み出す。

2025年の新規AI展開では、800Gをスパインレベル接続のデフォルト仕様とすべきである。リーフレベル接続は、GPU構成とオーバーサブスクリプション許容度に応じて400Gを使用する場合がある。800Gインフラストラクチャへの投資は、ワークロード成長の余地を提供し、将来の移行に備える。

InfiniBandは、レイテンシの最小化がトレーニング効率を直接改善する最大規模のAIトレーニングクラスタに引き続き適している。エンタープライズAI展開、クラウドベースのAIサービス、および推論ワークロードは、一般的に意味のある性能を犠牲にすることなく、Ethernetのコスト優位性とエコシステム統合の恩恵を受ける。

電力と冷却の制約は、帯域幅要件以上に800G採用を制限する可能性がある。組織は、800G展開にコミットする前にインフラストラクチャ容量を監査すべきである。ネットワーキングの電力バジェットは、制約のある施設ではGPU電力要件と競合する可能性がある。

クイック意思決定フレームワーク

技術選択：

帯域幅計画：

重要なポイント

ネットワークアーキテクト向け： - 800Gは2025年の標準；2027年には1.6T、2030年には3.2Tを計画 - NVIDIA Quantum-X800はスイッチあたり144ポート×800Gb/sを提供 - InfiniBand：約1〜2µsレイテンシ；RoCEv2搭載Ethernet：約5〜10µs - 消費電力：800Gモジュールは14〜20Wを消費し、ラックバジェットに影響

インフラストラクチャプランナー向け： - ネットワーク電気層は各帯域幅世代で交換が必要 - 800G光学部品はより多くのファイバー数、MTPケーブル、より厳格な清浄度が必要 - マルチベンダー環境では相互運用性検証が重要 - モジュラー設計により移行中の総交換コストを削減

戦略計画向け： - 800Gが普及するにつれ、EthernetがAIネットワーキングでInfiniBandを上回ると予測 - NVIDIA Spectrum-Xは年間換算100億ドルのランレートに到達—AIネットワーキングは独立した市場 - Ultra Ethernet ConsortiumがAI固有の拡張を開発中 - ネットワーク投資がGPU使用率を決定—過少投資はコンピュートを無駄にする

ネットワーキングはAIインフラストラクチャコストの重要だが、しばしば過小評価されるコンポーネントである。適切な帯域幅でGPUクラスタをサポートするために必要な投資は、慎重な計画とベンダー評価を正当化する。ネットワーキングを後回しにする組織は、ネットワークの制限がGPU投資で本来実現できるAI能力を制約することに気づくだろう。

参考文献

1. Dell'Oro Group. "Beyond the GPU Arms Race — The Potential Role of OXC in Building Next Gen AI Infrastructure." 2025. https://www.delloro.com/beyond-the-gpu-arms-race-the-potential-role-of-oxc-in-building-next-gen-ai-infrastructure/

2. Dell'Oro Group. "Beyond the GPU Arms Race."

3. NVIDIA Newsroom. "NVIDIA Announces New Switches Optimized for Trillion-Parameter GPU Computing and AI Infrastructure." 2025. https://nvidianews.nvidia.com/news/networking-switches-gpu-computing-ai

4. NVIDIA Newsroom. "NVIDIA Announces New Switches."

5. QSFP DD 800G. "2025 800G Optical Module Trends for AI Data Centers." 2025. https://qsfpdd800g.com/blogs/artical/2025-800g-optical-module-trends-ai-data-centers

6. QSFP DD 800G. "2025 800G Optical Module Trends."

7. Lightwave Online. "Ethernet maintains a lead over InfiniBand in the AI race." 2025. https://www.lightwaveonline.com/home/article/55315256/ethernet-maintains-a-lead-over-infiniband-in-the-ai-race

8. Lightwave Online. "Ethernet maintains a lead over InfiniBand."

9. Microsoft Blog. "Inside the world's most powerful AI datacenter." September 18, 2025. https://blogs.microsoft.com/blog/2025/09/18/inside-the-worlds-most-powerf

[翻訳の都合上、コンテンツは切り詰められています]