Ethernet-комутатори для ШІ: платформи на 51,2 Тбіт/с, що з'єднують кластери GPU

Оновлено 11 грудня 2025 року

Оновлення за грудень 2025: Ethernet тепер лідирує у розгортанні внутрішніх мереж ШІ за даними Dell'Oro Group. xAI Colossus (100 000 H100) досягає 95% пропускної здатності зі Spectrum-X порівняно з 60% на традиційному Ethernet. Broadcom Tomahawk 5 забезпечує 51,2 Тбіт/с в одному монолітному чипі (64x 800GbE). Консорціум Ultra Ethernet представив 560-сторінкову специфікацію, що формалізує стандарти, оптимізовані для ШІ. NVIDIA Spectrum-X800 забезпечує 1,6-кратне підвищення продуктивності ШІ порівняно з традиційним Ethernet.

Ethernet тепер лідирує у розгортанні внутрішніх мереж ШІ. Dell'Oro Group повідомляє, що переконливі цінові переваги, екосистеми з багатьма постачальниками та операційна звичність сприяють впровадженню на противагу InfiniBand у 2025 році.¹ Зміни набирають обертів, оскільки суперкомп'ютер xAI Colossus демонструє продуктивність Ethernet у масштабі, з'єднуючи 100 000 GPU NVIDIA Hopper за допомогою мережі Spectrum-X та досягаючи 95% пропускної здатності даних завдяки вдосконаленому контролю перевантаження.² Традиційний Ethernet у подібному масштабі страждає від тисяч колізій потоків, обмежуючи пропускну здатність приблизно до 60%.³

Пропускна здатність комутаційних чипів подвоїлася для задоволення потреб ШІ. Broadcom Tomahawk 5 забезпечує 51,2 терабіт на секунду в одному монолітному чипі, живлячи комутатори з 64 портами 800GbE або 128 портами 400GbE.⁴ Платформа NVIDIA Spectrum-X800 відповідає цій потужності, додаючи оптимізації, специфічні для ШІ, через програмну інтеграцію з BlueField SuperNIC. Специфікація Ultra Ethernet Consortium від червня 2025 року формалізує стандарти для Ethernet, оптимізованого для ШІ, встановлюючи 560-сторінкову основу для контролю перевантаження, транспорту RDMA та взаємодії між постачальниками.⁵

Broadcom Tomahawk 5 встановлює еталон пропускної здатності

Серія комутаторів StrataXGS Tomahawk 5 забезпечує 51,2 терабіт на секунду комутаційної ємності Ethernet в одному монолітному пристрої, подвоюючи пропускну здатність попереднього покоління чипів.⁶ Чип представляє продовження домінування Broadcom у комерційних комутаційних чипах, зберігаючи темп подвоєння пропускної здатності, встановлений з Tomahawk 1 у 2014 році.

Архітектурні рішення відрізняють Tomahawk 5 від конкурентів. У той час як конкуруючі проекти на 51,2 Тбіт/с використовують чиплетні архітектури, обгортаючи кілька сигнальних чиплетів SerDes навколо монолітних механізмів обробки пакетів, Tomahawk 5 досягає повної пропускної здатності в одному шматку кремнію, використовуючи 5-нм технологічний процес.⁷ Архітектура зі спільним буфером забезпечує найвищу продуктивність та найнижчу затримку для RoCEv2 та інших протоколів RDMA, критичних для робочих навантажень ШІ.⁸

Конфігурації портів підтримують різноманітні сценарії розгортання: 64 порти по 800 Гбіт/с для spine-розгортань, що вимагають максимальної пропускної здатності на порт, 128 портів по 400 Гбіт/с для збалансованих leaf-комутаторів та 256 портів по 200 Гбіт/с для середовищ, що вимагають широкого підключення серверів.⁹ Чип підтримує як традиційні топології Clos, так і не-Clos архітектури, включаючи тор, Dragonfly, Dragonfly+ та Megafly конфігурації, оптимізовані для комунікацій кластерів ШІ.¹⁰

Розширені функції безпосередньо орієнтовані на вимоги робочих навантажень ШІ/МН. Cognitive Routing забезпечує інтелектуальний розподіл трафіку. Динамічне балансування навантаження розподіляє потоки по доступних шляхах. Наскрізний контроль перевантаження запобігає насиченню мережі, що знижує утилізацію GPU.¹¹ Broadcom стверджує, що Jericho3-AI пропонує більш ніж на 10% коротший час завершення завдань порівняно з конкуруючими чипами завдяки цим оптимізаціям.¹²

Підвищення енергоефективності є суттєвим. Один Tomahawk 5 замінює сорок вісім комутаторів Tomahawk 1 за еквівалентною пропускною здатністю, що призводить до зниження енергоспоживання більш ніж на 95%.¹³ Для центрів обробки даних ШІ, які вже борються з щільністю потужності на стійку, покращення ефективності мережі примножуються разом з оптимізацією обчислень та охолодження.

Комерційні комутаторні продукти від багатьох постачальників використовують чип Tomahawk 5. N9600-64OD від FS.com забезпечує 64x 800GbE порти із затримкою менше мікросекунди.¹⁴ Серія N9500 від NADDOD пропонує конфігурації як 400G, так і 800G, оптимізовані для розгортань центрів обробки даних ШІ.¹⁵ Сімейство 7060X6 AI Leaf від Arista використовує Tomahawk 5 для ємності 51,2 Тбіт/с у форм-факторі 2RU.¹⁶

NVIDIA Spectrum-X створює нативний Ethernet для ШІ

NVIDIA розробила Spectrum-X як першу мережеву платформу Ethernet, спеціально побудовану для робочих навантажень ШІ. Платформа поєднує комутатори Spectrum SN5600 з BlueField-3 SuperNIC, прискорюючи продуктивність генеративного ШІ в 1,6 рази порівняно з традиційними реалізаціями Ethernet.¹⁷

Комутатор Spectrum-X800 SN5600 забезпечує 64 порти 800GbE з використанням форм-факторів OSFP та загальну комутаційну ємність 51,2 Тбіт/с.¹⁸ Архітектура Spectrum-4, що лежить в основі комутатора, перевершує можливості попереднього покоління як за ємністю, так і за щільністю портів. Інтеграція з BlueField SuperNIC забезпечує скоординований контроль перевантаження, адаптивну маршрутизацію та збір телеметрії по всій мережевій фабриці.

Реальні розгортання підтверджують архітектуру. Кластер Colossus від xAI використовує Spectrum-X Ethernet для навчання сімейства великих мовних моделей Grok на 100 000 GPU.¹⁹ Система досягає 95% пропускної здатності даних завдяки технології контролю перевантаження, спеціально оптимізованій для пікових, синхронізованих комунікаційних патернів розподіленого навчання ШІ.²⁰

Анонси продуктів 2025 року значно розширюють можливості Spectrum-X. Фотонні комутатори Spectrum-X, представлені в березні 2025 року, об'єднують електронні схеми з оптичними комунікаціями у масштабі.²¹ Конфігурації включають 128 портів по 800 Гбіт/с (всього 100 Тбіт/с) та 512 портів по 800 Гбіт/с (всього 400 Тбіт/с), забезпечуючи заводи ШІ, що з'єднують мільйони GPU, одночасно знижуючи енергоспоживання.²²

Spectrum-XGS Ethernet, анонсований у серпні 2025 року, представляє технологію масштабування, що об'єднує розподілені центри обробки даних в єдині гігамасштабні суперфабрики ШІ.²³ Технологія представляє третій стовп обчислень ШІ, окрім традиційного вертикального масштабування (NVLink) та горизонтального масштабування (стандартні мережі), дозволяючи організаціям агрегувати розподілену інфраструктуру в узгоджені середовища навчання.

Великі хмарні провайдери стандартизуються на Spectrum-X. Meta та Oracle оголосили в жовтні 2025 року, що вони розгорнуть Ethernet-комутатори Spectrum-X як відкриту, прискорену мережеву архітектуру, що підвищує ефективність навчання ШІ.²⁴ Багатопостачальницька екосистема позиціонує Spectrum-X як рішення NVIDIA та галузеву платформу одночасно.

Консорціум Ultra Ethernet встановлює стандарти, готові до ШІ

Консорціум Ultra Ethernet випустив Специфікацію 1.0 11 червня 2025 року, встановивши комплексну 560-сторінкову основу для мереж ШІ та HPC.²⁵ Консорціум, запущений у 2023 році під егідою Linux Foundation, об'єднує понад 50 технологічних компаній, включаючи AMD, Intel, Broadcom, Cisco, Arista, Meta, Microsoft, Dell, Samsung та Huawei.²⁶

Технічні інновації вирішують фундаментальні обмеження традиційного Ethernet для робочих навантажень ШІ. Специфікація визначає вдосконалені реалізації RDMA, транспортні протоколи та механізми контролю перевантаження, розроблені для синхронізованих, пікових комунікаційних патернів розподіленого навчання.²⁷

Підходи до контролю перевантаження принципово відрізняються від традиційних реалізацій RoCE. Підхід UEC не покладається на безвтратні мережі, як традиційно вимагалося, впроваджуючи режим, керований приймачем, де кінцеві точки можуть активно обмежувати передачі відправника, а не залишатися пасивними.²⁸ Ця зміна дозволяє будувати більші мережі з кращою ефективністю для робочих навантажень ШІ.

Цільові показники продуктивності охоплюють розгортання масштабу кластера. Специфікація спрямована на час подорожі туди-назад від 1 до 20 мікросекунд по кластерах, оптимізуючи специфічно для середовищ центрів обробки даних, що виконують навчання ШІ, інференс та HPC робочі навантаження.²⁹

Гарантії сумісності запобігають прив'язці до постачальника. Специфікація UEC 1.0 забезпечує високопродуктивні рішення для NIC, комутаторів, оптики та кабелів, забезпечуючи безшовну інтеграцію з багатьма постачальниками.³⁰ Відкритий стандарт дозволяє організаціям отримувати компоненти від різних постачальників, зберігаючи узгодженість продуктивності.

Доступність продуктів слідує за випуском специфікації. Arista підтвердила підтримку вдосконалень комутації UEC 1.0 по всьому портфелю продуктів Etherlink, починаючи з платформ 7060X та 7800R.³¹ Апаратне забезпечення повного стеку від багатьох постачальників поставляється наприкінці 2025 або на початку 2026 року.³²

Arista та Cisco конкурують у модульних платформах ШІ

Традиційні мережеві постачальники адаптують платформи центрів обробки даних для вимог робочих навантажень ШІ, конкуруючи з цільовим підходом NVIDIA.

Серія 7800R4 від Arista була запущена 29 жовтня 2025 року як четверте покоління модульних spine-систем, розроблених для розгортань ШІ.³³ Платформа забезпечує системну пропускну здатність 460 Тбіт/с (920 Тбіт/с повний дуплекс) у конфігураціях від чотирьох до шістнадцяти модулів лінійних карт.³⁴ Кількість портів масштабується до 576x 800GbE або 1152x 400GbE для масивного підключення кластерів.³⁵

7800R4 реалізує процесори Broadcom Jericho3-AI з оптимізованим для ШІ конвеєром обробки пакетів.³⁶ Технологія HyperPort об'єднує чотири порти по 800 Гбіт/с в агреговані з'єднання 3,2 Тбіт/с, забезпечуючи на 44% коротший час завершення завдань для потоків пропускної здатності ШІ порівняно з традиційним балансуванням навантаження по окремих портах.³⁷ Модульні шасі та комутатори фіксованої форми 7280R4 поставляються зараз, варіанти 7020R4 та лінійні карти HyperPort з'являться в Q1 2026.³⁸

Cisco Silicon One уніфікує можливості маршрутизації та комутації з продуктивністю до 51,2 Тбіт/с на базі ASIC G200.³⁹ Архітектура орієнтована як на горизонтальне, так і на вертикальне масштабування мереж ШІ з високою ємністю, надзвичайно низькою затримкою та скороченим часом завершення завдань.⁴⁰

Модульні маршрутизатори серії Cisco 8800 забезпечують шасі-основу. Доступні в конфігураціях на 4, 8, 12 та 18 слотів, всі моделі підтримують лінійні карти третього покоління 36x 800G (P100) на базі Silicon One.⁴¹ Маршрутизатор Cisco 8223 забезпечує ємність 51,2 Тбіт/с, використовуючи програмований чип Silicon One P200.⁴²

Розширене партнерство Cisco-NVIDIA інтегрує чипи Silicon One в стек Spectrum-X Ethernet, поєднуючи низькозатримну комутацію, адаптивну маршрутизацію та телеметрію для підтримки кластерів GPU.⁴³ Підтримка SONiC (Software for Open Networking in the Cloud) на комутаторах серії Cisco 8000 дозволяє організаціям обирати відкриті мережеві операційні системи, що відповідають операційним вимогам.⁴⁴

RoCE робить Ethernet конкурентоспроможним з InfiniBand

RDMA over Converged Ethernet (RoCE) дозволяє мережам Ethernet відповідати продуктивності InfiniBand для робочих навантажень ШІ за належної конфігурації. Meta опублікувала інженерні деталі для свого кластера на 24 000 GPU, зазначивши, що вони налаштували як RoCE, так і InfiniBand для забезпечення еквівалентної продуктивності, при цьому найбільші моделі навчаються на їхній фабриці RoCE.⁴⁵

RoCE v2 покладається на конфігурацію безвтратної мережі Ethernet. Priority Flow Control усуває втрату пакетів для вибраних класів трафіку. Enhanced Transmission Selection розподіляє пропускну здатність між типами трафіку. Explicit Congestion Notification сигналізує про раннє перевантаження. Dynamic Congestion Control оптимізує продуктивність RDMA.⁴⁶ Без належної конфігурації цих механізмів продуктивність RoCE значно погіршується.

Великі хмарні платформи підтверджують RoCE для виробничих робочих навантажень ШІ. Типи машин Google Cloud A3 Ultra та A4 Compute Engine використовують RoCEv2 для високопродуктивних GPU-мереж.⁴⁷ Суперкластер Zettascale10 від Oracle використовує мережеву фабрику Acceleron RoCE зі спеціалізованими Ethernet NIC, що містять інтегровані чотирипортові комутатори для мінімізації затримки.⁴⁸

Архітектура кластера ШІ Meta демонструє RoCE в масштабі. Внутрішня фабрика з'єднує всі RDMA NIC в неблокуючій топології, що забезпечує високу пропускну здатність, низьку затримку та безвтратний транспорт між будь-якими двома GPU.⁴⁹ Двоступенева топологія Clos організовує стійки ШІ в зони, при цьому стійкові навчальні комутатори служать leaf-комутаторами, що з'єднують GPU через мідні кабелі DAC.⁵⁰

Цінові міркування сприяють Ethernet для багатьох розгортань. Для компаній другого та третього рівнів, що розгортають кластери на 256-1024 GPU, Ethernet з RoCE є рекомендацією за замовчуванням, якщо конкретні, кількісно визначені вимоги до затримки не виправдовують 2-кратну вартість мережі InfiniBand.⁵¹ Опубліковані кейси la

[Вміст скорочено для перекладу]