InfiniBandスイッチ：NVIDIA Quantum-X800とAIスーパーコンピューターを支えるXDR世代

2025年12月11日更新

2025年12月アップデート： InfiniBand市場は2025年に257億ドルに達し、2030年には1,270億ドル（年平均成長率38%）に成長すると予測されています。Quantum-X800は144ポートの800Gbps XDRと、SHARP v4による14.4 TFLOPSのインネットワークコンピュート（NDR比9倍）を実現。ポート間レイテンシは100ナノ秒未満です。Stargateの64,000台のGB200とOracleの131,000 GPUゼタスケールスーパークラスターがInfiniBandで稼働しています。

2025年第2四半期、NVIDIAのBlackwell Ultraプラットフォームが800Gbpsネットワーキングへの需要を牽引し、InfiniBandスイッチの売上が急増しました。¹ InfiniBand市場は2025年に257.4億ドルと評価され、2030年までに年平均成長率37.60%で1,269.9億ドルに成長すると予測されています。² AIバックエンドネットワーク全体ではEthernetが市場リーダーの地位を維持していますが、数百ナノ秒単位のレイテンシがトレーニング効率を左右する最高性能のデプロイメントではInfiniBandが支配的です。

Quantum-X800プラットフォームは、1兆パラメータモデルの要件に対するNVIDIAの回答です。144ポートの800Gbps接続、SHARP v4による14.4テラフロップスのインネットワークコンピューティング、100ナノ秒未満のポート間レイテンシを備えたXDR世代は、帯域幅を2倍にしながら、前世代のNDRプラットフォームと比較して9倍のインネットワークコンピュートを提供します。³ Stargateの64,000台のGB200システムやOracleの131,000 GPUゼタスケールスーパークラスターを含む主要な導入事例では、分散AIトレーニングが必要とする緊密な同期を維持するためにNVIDIA InfiniBandに依存しています。⁴

NDRからXDRへの進化

InfiniBandの世代は、標準化された速度増分を通じて進歩してきました：QDR（40Gbps）、FDR（56Gbps）、EDR（100Gbps）、HDR（200Gbps）、NDR（400Gbps）、そして現在のXDR（800Gbps）。⁵ 各世代は、InfiniBandをEthernet代替製品と差別化する低レイテンシとハードウェアレベルの信頼性を維持しながら、ポートあたりの帯域幅を2倍にしています。

2021年に導入されたNDR（Next Data Rate）は、51.6 GHzで動作するPAM-4エンコードSerDesの4レーンを使用して400Gbpsポートを実現しました。⁶ NDRスイッチを駆動するQuantum-2 ASICは、256のSerDesレーンと25.6Tbpsの単方向帯域幅を提供し、64ポートの400Gbps接続で毎秒665億パケットを処理します。⁷ NDRはInfiniBandにOSFPコネクタを導入し、2x（NDR200）または4x（NDR400）構成で1つまたは2つのリンクを可能にしました。⁸

InfiniBand Trade Associationが2023年10月にリリースしたXDR（eXtreme Data Rate）仕様は、AIおよびHPCデータセンターの需要を満たすために帯域幅を2倍にしました。⁹ レーンあたり200GbpsのSerDesサポートにより800Gbpsポートが可能になり、スイッチ間接続は1.6Tbpsに達します。¹⁰ XDRは第4世代SHARP、超低レイテンシの改善、自己修復機能、シリコンフォトニクス統合を導入しています。¹¹

ロードマップは将来の世代向けにポートあたり1.6Tbpsを提供するGDR（Giga Data Rate）技術へと続き、InfiniBandが性能リーダーシップの地位を維持することを確実にしています。¹²

NVIDIA Quantum-X800プラットフォームアーキテクチャ

Quantum-X800プラットフォームは、1兆パラメータスケールのAIモデル向けに特別に構築された最初のXDR InfiniBand実装を提供します。¹³ Q3400-RA 4Uスイッチは、この速度グレードを達成した最初のスイッチシリコンであるレーンあたり200GbpsのSerDes技術を活用しています。¹⁴

ポート密度は大幅にスケールします。スイッチは72個のOSFPケージに分散された144ポートの800Gbps接続を提供します。¹⁵ 高いラディックスにより効率的なファブリックトポロジーが可能になり、2レベルのファットツリーは最小のレイテンシと最適なジョブローカリティで最大10,368個のConnectX-8 NICを接続できます。¹⁶

性能仕様は最も要求の厳しいAIワークロードを対象としています。ポート間レイテンシは100ナノ秒未満です。¹⁷ アダプティブルーティングは利用可能なパスにトラフィックを動的に分散します。テレメトリベースの輻輳制御は、GPUの利用率に影響を与える前にネットワークの飽和を防止します。¹⁸

Q3200-RAなどのモデルにおけるデュアルスイッチエンクロージャは、1.6Tbpsの集約スイッチ間帯域幅で72ポートの800Gbpsを提供し、大規模AIクラスターが必要とするスパイン・リーフトポロジーを可能にします。¹⁹ オプションのルーター機能により、複数のサイトにわたるInfiniBandクラスターの拡張が容易になり、地理的な場所にまたがる分散トレーニング環境をサポートします。²⁰

SHARPインネットワークコンピューティングがボトルネックを解消

NVIDIAのScalable Hierarchical Aggregation and Reduction Protocol（SHARP）は、InfiniBandがEthernet代替製品に対して持つ決定的な技術的優位性を表しています。all-reduceやbroadcastなどの集合演算をネットワークスイッチにオフロードすることで、SHARPはデータ転送量を大幅に削減し、分散トレーニング中のサーバージッターを最小化します。²¹

4世代を通じた進化により、SHARP機能は段階的に拡張されました：

SHARPv1は科学計算向けの小メッセージリダクション操作に焦点を当て、主要なMPIライブラリで採用された大幅な性能向上を実証しました。²²

SHARPv2はHDR 200Gbps Quantumスイッチとともに導入され、大規模メッセージリダクション操作を含むAIワークロードサポートを追加しました。ベンチマークではBERTトレーニング性能の17%向上を実証しました。²³

SHARPv3はマルチテナントインネットワークコンピューティングを可能にし、複数のAIワークロードが同時にSHARP機能を活用できるようになりました。Microsoft Azureは、この世代を使用したAllReduceレイテンシでほぼ1桁の性能向上を示しました。²⁴

SHARPv4はQuantum-X800およびQuantum-X Photonicsスイッチに標準搭載され、GPU間通信のオーバーヘッドを最小化するインネットワーク集約とリダクションを可能にします。²⁵ FP8精度サポートと組み合わせることで、SHARP v4は帯域幅と計算の両方の要求を削減し、1兆パラメータモデルのトレーニングを加速し、より速い収束と高いスループットを実現します。²⁶

この技術はNVIDIA Collective Communication Library（NCCL）と統合されており、分散AIトレーニングフレームワークがSHARPを自動的に活用できます。サービスプロバイダーは、SHARP統合を通じてAIワークロードで10〜20%の性能向上を報告しています。²⁷ ネットワークスイッチはこれらのタスクでCPUとGPUをバイパスしながら直接集約とリダクションを実行し、非SHARP構成と比較してAllReduce帯域幅を2倍にします。²⁸

ConnectX-8 SuperNICが800Gbpsエンドポイントを実現

Quantum-X800プラットフォームはConnectX-8 SuperNICアダプターとペアになり、エンドツーエンドの800Gbpsスループットを達成します。²⁹ C8180は、AI高性能コンピューティングクラスター、スーパーコンピューティングネットワーク、次世代データセンターアーキテクチャ向けに設計された、InfiniBandとEthernetの両方をサポートするNVIDIA初の800GbpsデュアルプロトコルuperNICです。³⁰

技術仕様はアダプター機能を大幅に前進させています。シングルポートOSFPインターフェースは800Gbps XDR InfiniBandまたは2ポートの400Gbps Ethernetを提供します。³¹ PCIe Gen6 x16接続は、ネットワーク速度に匹敵するホストインターフェース帯域幅を提供します。³² 自動ネゴシエーションにより、XDR、NDR、NDR200、HDR、HDR100、EDR、FDR、SDR InfiniBand速度との後方互換性をサポートします。³³

アーキテクチャの革新は生の帯域幅を超えています。ConnectX-8はオンボードPCIeスイッチングファブリックとネイティブPCIe Gen6サポートを統合し、外部PCIeスイッチの必要性を排除します。³⁴ アダプターはx16コネクタインターフェースの背後に48レーンのPCIe Gen6を含んでいます。³⁵ ネイティブSHARPサポートにより、アダプターハードウェアで直接集約とリダクション操作を加速します。³⁶

Socket Direct技術はデュアルソケットサーバーアーキテクチャに対応します。専用PCIeインターフェースを介した各CPUからネットワークへの直接アクセスにより、CPU-ネットワークトポロジーがレイテンシに影響を与えるシステムでの性能が向上します。³⁷ GB300 NVL72は、Grace CPUへのGen5速度での接続を維持しながらB300 GPUへのGen6リンクを維持する、PCIe Gen6 SuperNIC機能の最初のデプロイメントを表しています。³⁸

Unified Fabric Managerが大規模オーケストレーションを実現

UFMプラットフォームは、リアルタイムネットワークテレメトリとAI駆動分析を組み合わせることで、InfiniBandファブリック管理に革命をもたらします。³⁹ ホストベースのソリューションは、ファブリック管理、ルーティング、プロビジョニング、トラブルシューティングの完全な可視性を提供します。

UFMアーキテクチャは複数のコンポーネントにまたがります。UFMサーバーはファブリックの完全な可視性を維持し、すべてのデバイス間のルーティングを管理します。管理対象スイッチングデバイスには、UFM制御下のファブリックスイッチ、ゲートウェイ、ルーターが含まれます。コンピュートノード上のオプションのUFMホストエージェントは、ローカルホストデータとデバイス管理機能を提供します。⁴⁰

3つのプラットフォームティアが異なる運用要件に対応します：

UFM Telemetryは、ビットエラーレート、温度、ヒストグラム、再送を含むポートあたり120以上のユニークなカウンターを収集します。⁴¹ このデータにより、障害が本番ワークロードに影響を与える前にマージナルケーブルを予測できます。

UFM Enterpriseは、ネットワーク監視、管理、ワークロード最適化、定期的な構成検証を追加します。⁴² SlurmおよびPlatform LSFとのジョブスケジューラー統合により、ワークロードスケジューリングに合わせた自動ネットワークプロビジョニングが可能になります。OpenStackおよびAzure統合はクラウドデプロイメントモデルをサポートします。⁴³

UFM Cyber-AIは、スーパーコンピューティングの運用コストを削減するための予防保守とサイバーセキュリティ機能を提供します。⁴⁴ 専用アプライアンスデプロイメントにより、オンプレミスでのAI駆動ファブリック分析が可能になります。

UFM SDKは、REST APIアクセスを通じてGrafana、FluentD、Zabbix、Slurmプラグインを含む広範なサードパーティ統合を提供します。⁴⁵ オープンソースプロジェクトにより、ジョブコンピュートノード全体のネットワーク帯域幅、輻輳、エラー、リソース使用率を監視するためのSLURM統合が可能になります。

主要なスーパーコンピューターデプロイメントがプラットフォームを検証

世界最大のAIシステムはNVIDIA InfiniBandネットワーキングを標準化しています。現在および計画中のデプロイメントは、大規模でのQuantumプラットフォームの能力を実証しています。

Stargate AIデータセンターは2025年3月に64,000台のGB200システムの設置を開始し、マルチエクサフロップAIサービス向けに800Gbps InfiniBandで相互接続されています。⁴⁶ このデプロイメントは、最初の大規模XDR実装の1つを表しています。

xAI Colossusは、3つのネットワーク層全体で850ナノ秒の最悪ケースレイテンシを維持しながら、Quantum-2スイッチを使用して100,000台のH100 GPUを運用しています。⁴⁷ メンフィスクラスターはxAIのGrokファミリーの大規模言語モデルをトレーニングしています。

Oracle Zetta-scale Superclusterは、Quantum InfiniBandファブリックで接続された131,000台のGB200 GPUを計画しており、最大性能AIインフラストラクチャ向けのInfiniBandへのクラウドプロバイダーのコミットメントを実証しています。⁴⁸

ローレンス・リバモア国立研究所のEl Capitanは、200Gbps InfiniBandを使用して2エクサフロップスを超え、科学計算向けNDRクラスネットワーキングの継続的な関連性を示しています。⁴⁹

ヨーロッパのJUPITER（2億5,000万ユーロ）とBlue Lion（2億5,000万ユーロ）は、科学ワークロードが要求する性能を提供しながら厳格なエネルギー効率要件を満たすQuantum-2ファブリックを選択しました。⁵⁰

NVIDIAのネットワーキング収益は年間100億ドルに達し、そのほぼすべてが商用AIクラウドを支えるInfiniBandファブリックに関連しています。⁵¹ Microsoft AzureとOracle Cloud Infrastructureは、ハイパースケールプロバイダーの中で最初のQuantum InfiniBand採用者を代表しています。⁵²

InfiniBand対Ethernetのポジショニング

市場動向は各技術の明確なポジショニングを反映しています。Dell'Oro Groupが2023年末にAIバックエンドネットワークのカバレッジを開始した際、InfiniBandは80%以上の市場シェアを保持していました。⁵³ Ethernetはその後、ハイパースケーラーの採用とコスト優位性を通じて地歩を固め、2025年も全体的な市場リーダーシップを維持しています。⁵⁴

性能特性が両技術を差別化しています。InfiniBandは、ハードウェアアクセラレーションされたRDMAとインネットワークコンピューティングを通じてサブマイクロ秒のレイテンシを提供します。Ethernetは適切にRoCEで構成された場合、競争力のあるスループットを達成しますが、慎重なロスレスネットワーク構成が必要であり、同等のインネットワークコンピュート機能を欠いています。

コスト構造は多くのデプロイメントでEthernetを有利にしています。256〜1,024 GPUクラスターをデプロイするTier 2およびTier 3企業は、通常、RoCE付きEthernetがネットワーキングコストの約半分で許容可能な性能を提供することを発見します。⁵⁵ InfiniBandの価値提案は、SHARPインネットワークコンピューティングとより厳密なレイテンシ境界が

[翻訳用にコンテンツを切り捨て]