AIのための光ネットワーキング：GPU相互接続における400ZRとコヒーレント光学
2025年12月8日更新
2025年12月更新： 800Gコヒーレント光学（800ZR+）が現在、Cisco、Ciena、Infineraを含む複数のベンダーから出荷されています。51.2TスイッチキャパシティでのCo-packaged optics（CPO）の実証。DSPベースのソリューションと比較して電力を40%削減するLinear-drive pluggableオプティクス。NVIDIA のNVLink-C2CがGB200 NVL72ラックにおけるチップ間光相互接続にシリコンフォトニクスを使用。AIデータセンター光学市場は2028年までに82億ドルに達すると予測され、リンクあたり400G+を必要とするラックスケールGPU相互接続によって推進されています。
GoogleのTPU v5pスーパーコンピューターは、4ペタビット毎秒の集約帯域幅を提供し、10ナノ秒未満のスイッチング時間で動的トポロジ再構成を可能にする光回路スイッチを使用して8,960チップを相互接続することにより、8.5エクサフロップスのコンピューティングパワーを実現し、従来の電子スイッチングと比較してトレーニング速度を2.7倍向上させました。¹ この検索大手の光相互接続は、電子スイッチの35ワットに対して100Gbpsリンクあたり5ワットを消費し、7倍の電力効率向上により、AIインフラストラクチャ全体で年間2,400万ドルの電気代を節約します。従来の銅線ケーブルは400Gbps接続で3メートルの物理的制限に達し、分散トレーニング中の勾配計算を破損させる電磁干渉を排除しながら2キロメートルにわたって信号完全性を維持する光相互接続の採用をデータセンターに強いています。AI向け光ネットワーキングを展開している組織は、ケーブル複雑性の50%削減、85%低いレイテンシ変動、および特定のモデルアーキテクチャに合わせてネットワークトポロジを動的に再構成する能力を報告しています。²
AIモデルパラメータの爆発的成長—GPT-3の1,750億からGPT-4の噂される1兆7,000億まで—は、6ヶ月ごとに倍増するネットワーク帯域幅を要求し、コンピューティングにおけるムーアの法則の改善をはるかに上回っています。³ 長距離通信から借用されたコヒーレント光技術が、従来の光学の12ドルに対してギガビットあたり4ドルで単一モードファイバー上で400Gbpsを提供する400ZRトランシーバーでデータセンター内に現れています。シリコンフォトニクスは光コンポーネントをGPUに直接統合することを約束し、現在ネットワーキング電力予算の30%を消費している電気-光変換を排除します。AI インフラストラクチャ向け光相互接続をマスターする組織は、優れた帯域幅密度、低消費電力、および銅ベースアーキテクチャでは不可能なネットワークの柔軟性を通じて持続可能な優位性を獲得します。
データセンター向けコヒーレント光学の基礎
コヒーレント光技術は、光波の振幅と位相の両方に情報を符号化することによりデータセンターネットワーキングに革命をもたらします：
コヒーレント検出の原理: 従来の直接検出は光強度のみを測定し、波長あたり最大100Gbpsを実現します。コヒーレント検出は振幅、位相、偏波情報を捕捉し、16-QAM変調を使用して波長あたり800Gbpsを可能にします。⁴ デジタル信号プロセッサは色分散と偏波モード分散をリアルタイムで補償します。コヒーレント受信機は直接検出より20dB優れた感度を実現し、増幅なしでリーチを10kmから120kmに延長します。
400ZR標準実装: OIF 400ZR仕様は、データセンター相互接続向けに最適化された相互運用可能な400Gbpsコヒーレントインターフェースを定義します。⁵ 16-QAM変調はデュアル偏波にわたって1シンボルあたり4ビットを符号化します。連接前方誤り訂正は10^-15のビット誤り率を実現します。QSFP-DDフォームファクタは既存インフラストラクチャとの後方互換性を維持します。消費電力は15ワット未満を維持し、高密度展開を可能にします。
シリコンフォトニクス統合: Intelのシリコンフォトニクストランシーバーは、レーザー、変調器、検出器を単一チップに統合します。⁶ CMOS製造プロセスは個別コンポーネントと比較してコストを90%削減します。シリコンにエッチングされた導波路は0.1dB/cmの損失で光信号をルーティングします。マイクロリング共振器はチップ上の波長分割多重を可能にします。モノリシック統合は信頼性問題を引き起こす光接続の80%を排除します。
AIワークロード向けコヒーレント光学の利点： - 直接検出と比較してファイバーあたり8倍の帯域幅 - 増幅ステーションなしで100kmの到達距離 - 光障害のデジタル補償 - 距離要件に適応する柔軟な変調 - 動的ルーティングを可能にする波長可調性 - データ完全性を保証する前方誤り訂正
ネットワークアーキテクチャパターン
AI向け光ネットワークは、帯域幅と柔軟性を最適化する明確なアーキテクチャパターンに従います：
スパインリーフ光ファブリック: 全光スパインリーフアーキテクチャは、データパスの電子スイッチングを排除します。リーフスイッチは400ZRトランシーバーを使用してGPUサーバーに接続します。スパイン層は特定のラムダをルーティングする波長選択スイッチを使用します。各スパインリーフリンクは400Gbpsで32波長を運び、合計12.8Tbpsです。光増幅器は光-電気-光変換なしで信号を増強します。GPU間の東西トラフィックは電子スイッチングを完全に迂回します。
光回路スイッチング: GoogleのJupiterネットワークは、バルクデータ転送に光回路スイッチを使用します。⁷ 集中化されたSDNコントローラーは、トラフィック需要に基づいて光パスをプログラムします。回路確立は、パケットスイッチングの500ナノ秒に対して10ナノ秒かかります。専用光パスはキューイングと輻輳を排除します。トレーニングジョブは一貫したパフォーマンスを保証する帯域幅を予約します。動的再構成は変化するトラフィックパターンに適応します。
分散光ネットワーク: 光トランスポートをパケット処理機能から分離します。光トランスポートはポイント・ツー・ポイント波長を提供します。パケット処理はネットワークエッジでのみ発生します。データパスからネットワーク機器の60%を排除します。レイテンシを5マイクロ秒から200ナノ秒に削減します。光とパケット層の独立したスケーリングにより運用を簡素化します。
フォトニックClosネットワーク: Closネットワークに触発された多段光スイッチングファブリック。シリコンフォトニックスイッチはノンブロッキング接続を提供します。アレイ導波路格子は電力消費なしで波長をルーティングします。3段アーキテクチャで100,000ポートまでスケールします。サブナノ秒スイッチングは細かなトラフィックエンジニアリングを可能にします。複数の光パスによる耐障害性。
実装のベストプラクティス
成功した光ネットワーク展開は確立されたプラクティスに従います：
ファイバーインフラストラクチャ計画: 単一モードファイバーは、コヒーレント光学で最大120kmの距離をサポートします。OS2グレードファイバー仕様は<0.4dB/kmの減衰を保証します。15mmの最小曲げ半径はマイクロベンディング損失を防ぎます。色分けとラベリングシステムは誤接続を防ぎます。OTDRを使用したファイバー特性評価は展開前の障害を特定します。将来の拡張のために20%の予備ファイバー容量を維持します。
光パワー管理: -10dBmと+5dBm間の起動電力は非線形効果を防ぎます。光増幅器は波長スペクトラム全体で一貫した電力を維持します。可変光減衰器は並列パス間の電力をバランスします。各接続ポイントでのパワーモニターはトラブルシューティングを可能にします。自動パワーコントロールはコンポーネントの老化を補償します。目に見えない赤外光からの目の損傷を防ぐ安全プロトコル。
波長計画と管理: ITU-Tグリッドは干渉を避ける標準波長チャネルを定義します。DWDMシステムはCバンド（1530-1565nm）で96チャネルをサポートします。波長割り当てアルゴリズムは競合を防ぎます。チャネル間のガードバンドはクロストークを削減します。波長ロッカーは2.5GHz以内の周波数安定性を維持します。波長変換は柔軟なルーティングを可能にします。
テストと検証: ビット誤り率テスターは本番前のリンクパフォーマンスを検証します。光スペクトラムアナライザーは信号品質とOSNRを測定します。偏波モード分散テストは長期安定性を保証します。アイダイアグラム解析は信号完全性を確認します。ループバックテストは問題を特定のセグメントに分離します。継続的監視は故障前の劣化を検出します。
IntrolはグローバルカバレッジエリアでAIインフラストラクチャ向けの光ネットワーキングソリューションを設計・展開し、GPU相互接続向けのコヒーレント光学とシリコンフォトニクスの専門知識を持っています。⁸ 当社の光エンジニアリングチームは、先進フォトニック技術を使用して200以上の高帯域幅AIクラスターを実装してきました。
シリコンフォトニクス革命
シリコンフォトニクスは光コンポーネントをプロセッサと同じチップに統合します：
Co-packaged Optics: NVIDIAのNVLinkは銅線ケーブルを使用し、到達距離を2メートルに制限します。Co-packaged opticsはトランシーバーをGPUダイから数ミリメートルの位置に配置します。100Gbpsあたり10ワットを消費するシリアライザー/デシリアライザーを排除します。レイテンシを100ナノ秒から10ナノ秒に削減します。GPUパッケージエッジあたり1.6Tbpsを可能にします。IntelのOCP 2.0は51.2TbpsでCo-packaged opticsを実証します。⁹
全光スイッチ: フォトニックスイッチは変換なしで光信号をルーティングします。MEMSミラーは10マイクロ秒で光ビームを方向転換します。シリコンフォトニックスイッチはナノ秒の再構成を実現します。定常状態でのゼロ電力消費。単一チップで1000x1000ポートまでスケール。電子スイッチと比較して95%の電力を排除します。
光コンピューティング相互接続: GPUとCPU間のPCIeを光リンクで置き換えます。光上のCXLは、メモリコヒーレンシードメインをラックスケールに拡張します。キャッシュコヒーレント光ファブリックは10,000 GPUクラスターを可能にします。光メモリ相互接続は10TB/sの帯域幅を提供します。HBMメモリスタックへの直接光アタッチメント。LightmatterのPassageは100Tbpsのチップ間帯域幅を実証します。¹⁰
量子ドットレーザー: シリコンに統合された量子ドットレーザーは光源を提供します。温度非依存動作は冷却要件を排除します。100,000時間の寿命は電子コンポーネントの信頼性を上回ります。レーザーのアレイは大規模な並列性を可能にします。ビットあたり0.1ピコジュールのエネルギー効率。標準半導体プロセスを使用した大量生産。
実世界の光展開
MetaのAI Research SuperCluster: - 規模: 200Gbps光リンクを持つ16,000 A100 GPU - 帯域幅: 13ペタビット/秒の集約ファブリック帯域幅 - アーキテクチャ: 光スパイン層を持つ3層Clos - 技術: ビル間リンク用の400ZRコヒーレント光学 - レイテンシ: 2,000フィートキャンパス全体で1.5マイクロ秒 - 結果: 以前のインフラストラクチャと比較して3倍高速なモデルトレーニング
Microsoft AzureのProject Sirius: - 革新: AIワークロード用の全光スイッチング - パフォーマンス: 光スイッチあたり12.8Tbps - 効率: 電子スイッチングと比較して85%の電力削減 - 規模: 100,000 GPUを光学的に接続 - スイッチング: サブマイクロ秒の光回路確立 - 影響: トレーニングコストの40%削減
Alibaba Cloudの光データセンター: - 展開: 施設全体での400Gコヒーレント光学 - 到達距離: 増幅なしで40kmキャンパス接続 - 密度: 光スイッチングを使用してラックあたり38.4Tbps - 電力: 100Gbps光リンクあたり3ワット - 柔軟性: ワークロードに基づく動的波長ルーティング - 節約: 年間1,500万ドルの電力コスト削減
Oak Ridge国立研究所のFrontier: - コンピューティング: 37,000 AMD MI250X GPU - 相互接続: 光リンクを持つSlingshotファブリック - 帯域幅: ノードあたり100GB/s注入帯域幅 - トポロジー: 光グループ接続を持つDragonfly+ - 距離: 300メートル施設にわたる光リンク - 成果: 世界初のエクサスケールシステム
電力効率分析
光ネットワーキングはデータセンターの消費電力を劇的に削減します：
リンク電力比較（100Gbpsあたり）: - 銅DAC（3m）: 35ワット - アクティブ光ケーブル（100m）: 12ワット - シリコンフォトニクス（2km）: 5ワット - コヒーレント光学（40km）: 3.5ワット - 将来のフォトニクス: <1ワット予測
システムレベル節約: Facebookのファブリック集約層は90%の光相互接続を使用します。光スイッチングにより電力使用効率が1.4から1.15に改善されます。ネットワーク機器の電力は15%から5%に低下
