800G мережі для ШІ: планування вашої GPU-інфраструктури наступного покоління

Оновлено 11 грудня 2025 року

Оновлення грудня 2025: Платформи NVIDIA Quantum-X800 InfiniBand та Spectrum-X800 Ethernet тепер постачаються у великих обсягах. Microsoft Azure розгортає 800G повні fat-tree неблокуючі фабрики для кластерів GB200/GB300. Ultra Ethernet Consortium прискорює розробку покращень, специфічних для ШІ, оскільки починаються випробування 1,6T. Щільність енергоспоживання залишається обмежуючим фактором розгортання — 800G модулі споживають 14-20 Вт на порт, створюючи навантаження на системи охолодження стійок.

Більшість поставок портів комутаторів у ШІ-кластерах протягом 2025 року працюють на швидкості 800 гігабіт на секунду.¹ До 2027 року більшість перейде на 1,6 терабіт. До 2030 року більшість портів працюватимуть на 3,2 терабіт.² Це означає, що електричні рівні мережі дата-центрів потребуватимуть заміни з кожним поколінням пропускної здатності — набагато агресивніший цикл оновлення, ніж історично спостерігався в корпоративних мережах. Організації, які планують ШІ-інфраструктуру, повинні враховувати мережеві переходи, що відбуватимуться швидше, ніж будь-яке попереднє технологічне покоління.

Дохід NVIDIA від мережевого обладнання майже подвоївся порівняно з минулим роком і досяг $7,3 мільярда завдяки широкому впровадженню Spectrum-X Ethernet, InfiniBand XDR та систем масштабування NVLink.³ Spectrum-X перевищив $10 мільярдів річного обороту.⁴ Ці інвестиції сигналізують про те, що мережі для ШІ представляють окремий ринок від традиційних мереж дата-центрів, з вимогами та економікою, які виправдовують спеціалізовану розробку продуктів та планування інфраструктури.

800G стає стандартом 2025 року

Галузеві дослідження та дорожні карти вендорів позиціонують 800G оптику як домінуючу технологію для нових розгортань ШІ-кластерів та великих дата-центрів у 2025 році, особливо у форм-факторах OSFP та QSFP-DD.⁵ Вендори та аналітики очікують, що 800G трансивери стануть робочими конями у великих ШІ-фабриках, при цьому ранні випробування 1,6T вже тривають.⁶

Швидке нарощування платформи NVIDIA Blackwell Ultra стимулювало сильний попит на 800 Гбіт/с InfiniBand комутатори, спричинивши стрімке зростання продажів InfiniBand комутаторів у Q2 2025.⁷ Хоча продажі InfiniBand комутаторів у back-end мережах ШІ різко зросли, Ethernet зберігає загальне лідерство. 800 Гбіт/с комутатори складають основну частину поставок та доходів як Ethernet, так і InfiniBand комутаторів у back-end мережах ШІ.⁸

Останні розгортання Microsoft NVIDIA GB200 та GB300 комунікують через NVLink та NVSwitch на терабайтах на секунду на рівні стійки.⁹ Для з'єднання між кількома стійками в pod Azure використовує як InfiniBand, так і Ethernet фабрики, що забезпечують 800 Гбіт/с у повній fat-tree неблокуючій архітектурі.¹⁰ Гібридний підхід відображає взаємодоповнюючі ролі різних мережевих технологій у великомасштабній ШІ-інфраструктурі.

Оптичні з'єднання для ШІ, включаючи модулі 400G та 800G, зростатимуть із середньорічним темпом понад 22% до 2030 року, переважно завдяки великомасштабним кластерам навчання та інференсу ШІ.¹¹ Траєкторія зростання виправдовує інвестиції в інфраструктуру, які передбачають багаторічне розширення вимог до ШІ-мереж.

Мережеві платформи NVIDIA 800G

NVIDIA Quantum-X800 InfiniBand та Spectrum-X800 Ethernet представляють перші у світі мережеві платформи, здатні забезпечити наскрізну пропускну здатність 800 Гбіт/с.¹² Платформа Quantum-X800, спеціально розроблена для моделей ШІ з трильйоном параметрів, включає комутатор Quantum-X800 InfiniBand, ConnectX-8 SuperNIC, ConnectX-9 SuperNIC та кабелі й трансивери LinkX.¹³

Комутатор Quantum-X800 InfiniBand забезпечує 144 порти зі з'єднанням 800 Гбіт/с на порт.¹⁴ Щільність портів дозволяє будувати великомасштабні фабрики з меншою кількістю рівнів комутації, зменшуючи затримку та складність. Для організацій, які навчають найбільші моделі ШІ, InfiniBand продовжує забезпечувати найнижчу затримку та найкращу стабільність продуктивності у масштабі.

Комутатори NVIDIA Quantum-X та Spectrum-X Photonics інтегрують кремнієву фотоніку безпосередньо в корпус комутатора, забезпечуючи від 128 до 512 портів 800 Гбіт/с із загальною пропускною здатністю від 100 Тбіт/с до 400 Тбіт/с.¹⁵ Інтеграція забезпечує у 3,5 рази вищу енергоефективність та у 10 разів кращу відмовостійкість порівняно з традиційною оптикою.¹⁶

Cisco Nexus Hyperfabric AI з хмарно-керованим комутатором Cisco G200 Silicon One забезпечує високощільний 800G Ethernet, тепер доступний для замовлення як опція розгортання в AI POD.¹⁷ Партнерство між Cisco та NVIDIA у сфері ШІ-мереж демонструє, як традиційні вендори корпоративних мереж адаптуються до вимог ШІ-інфраструктури.

Порівняння InfiniBand та Ethernet

Ethernet домінуватиме у більшості корпоративних ШІ-розгортань завдяки перевагам у вартості та екосистемі, тоді як InfiniBand залишатиметься вибором для надмасштабних ШІ та HPC кластерів.¹⁸ Це розмежування важливе для планування інфраструктури: організації повинні обирати технологію на основі характеристик робочих навантажень, а не за замовчуванням використовувати знайомі варіанти.

InfiniBand забезпечує нижчу затримку приблизно 1-2 мікросекунди та кращу стабільність продуктивності у масштабі.¹⁹ Ethernet з RoCEv2 пропонує затримку приблизно 5-10 мікросекунд і може бути налаштований для робочих навантажень ШІ.²⁰ Різниця в затримці має значення для завдань навчання, де колективні операції синхронізуються між тисячами GPU. Робочі навантаження інференсу з нижчими вимогами до синхронізації можуть не отримати переваг від низької затримки InfiniBand.

Аналітики прогнозують, що Ethernet стане більш поширеною технологією для ШІ-мереж, випередивши InfiniBand у міру нарощування 800G та формування 1,6T.²¹ Засновницьке членство NVIDIA в Ultra Ethernet Consortium та випуск оптимізованих для ШІ комутаторів Spectrum-X 800G Ethernet сигналізують про впевненість у майбутньому Ethernet для ШІ.²² Ultra Ethernet Consortium розробляє покращення спеціально для робочих навантажень ШІ.

Розгортання високопродуктивної lossless 800G Ethernet фабрики максимізує цінність ШІ-інвестицій.²³ Мережа служить центральною нервовою системою, критично важливою для максимізації ефективності та повернення інвестицій. Тонке налаштування мережевої фабрики прискорює час завершення завдань та забезпечує високу утилізацію GPU.²⁴

Виклики міграції та планування

800G оптика створює нові виклики, які організації повинні вирішити під час планування міграції. Щільність енергоспоживання та тепловиділення суттєво зростає: 800G модулі споживають 14-20 ват або більше, створюючи навантаження на системи охолодження комутаторів та енергетичні бюджети стійок.²⁵ Організації повинні перевірити, чи може існуюча інфраструктура підтримувати підвищені вимоги до енергоспоживання та охолодження.

Управління оптоволокном стає складнішим. Міграція на 800G часто вимагає більшої кількості волокон, MTP-кабелів та суворіших вимог до полярності та чистоти.²⁶ Інфраструктура фізичного рівня, яка працювала для 100G або 400G, може не підтримувати 800G без модернізації. Інвестиції в кабельну інфраструктуру повинні передбачати майбутні вимоги до пропускної здатності, щоб уникнути повторної заміни інфраструктури.

Сумісність та валідація між вендорами комутаторів та NIC вимагають ретельного планування.²⁷ Багатовендорні середовища можуть стикатися з проблемами сумісності, яких уникають однорідні розгортання. Організації повинні валідувати сумісність у лабораторних середовищах перед виробничим розгортанням.

Агресивний цикл оновлення з 800G до 1,6T і до 3,2T менш ніж за п'ять років відрізняється від історичних мережевих переходів. Планування повинно враховувати частішу заміну інфраструктури, ніж це було в традиційних мережах дата-центрів. Модульні конструкції, які дозволяють оновлення на рівні компонентів, можуть зменшити загальні витрати на заміну.

Стратегічні рекомендації

Організації, які планують ШІ-інфраструктуру, повинні оцінювати мережеві вимоги з такою ж ретельністю, як і вибір GPU. Мережа визначає, наскільки ефективно використовуються дорогі GPU-ресурси. Недостатні інвестиції в мережі створюють вузькі місця, які марнують потужність GPU.

Для нових ШІ-розгортань у 2025 році 800G повинна бути специфікацією за замовчуванням для з'єднань на рівні spine. З'єднання на рівні leaf можуть використовувати 400G залежно від конфігурацій GPU та допустимого рівня переобмеження. Інвестиції в 800G інфраструктуру забезпечують запас для зростання робочих навантажень та готують до майбутніх переходів.

InfiniBand залишається доцільним для найбільших кластерів навчання ШІ, де мінімізація затримки безпосередньо покращує ефективність навчання. Корпоративні ШІ-розгортання, хмарні ШІ-сервіси та робочі навантаження інференсу зазвичай виграють від переваг Ethernet у вартості та інтеграції з екосистемою без втрати суттєвої продуктивності.

Обмеження енергоспоживання та охолодження можуть обмежити впровадження 800G більше, ніж вимоги до пропускної здатності. Організації повинні провести аудит потужності інфраструктури перед прийняттям зобов'язань щодо 800G розгортань. Енергетичний бюджет для мереж може конкурувати з вимогами до енергоспоживання GPU в об'єктах з обмеженою потужністю.

Коротка схема прийняття рішень

Вибір технології:

Планування пропускної здатності:

Ключові висновки

Для мережевих архітекторів: - 800G — стандарт 2025; плануйте 1,6T до 2027, 3,2T до 2030 - NVIDIA Quantum-X800 забезпечує 144 порти × 800 Гбіт/с на комутатор - InfiniBand: ~1-2 мкс затримки; Ethernet з RoCEv2: ~5-10 мкс - Енергоспоживання: 800G модулі споживають 14-20 Вт, впливаючи на бюджети стійок

Для планувальників інфраструктури: - Електричні рівні мережі вимагають заміни з кожним поколінням пропускної здатності - 800G оптика потребує більшої кількості волокон, MTP-кабелів, суворіших вимог до чистоти - Валідація сумісності критична в багатовендорних середовищах - Модульні конструкції зменшують загальні витрати на заміну під час переходів

Для стратегічного планування: - Прогнозується, що Ethernet випередить InfiniBand для ШІ-мереж у міру нарощування 800G - NVIDIA Spectrum-X досяг $10 млрд річного обороту — ШІ-мережі є окремим ринком - Ultra Ethernet Consortium розробляє покращення, специфічні для ШІ - Мережеві інвестиції визначають утилізацію GPU — недоінвестування марнує обчислювальні ресурси

Мережі представляють значну, але часто недооцінену складову вартості ШІ-інфраструктури. Інвестиції, необхідні для підтримки GPU-кластерів з відповідною пропускною здатністю, виправдовують ретельне планування та оцінку вендорів. Організації, які ставляться до мереж як до другорядного питання, виявлять, що мережеві обмеження стримують можливості ШІ, які могли б забезпечити їхні інвестиції в GPU.

Джерела

1. Dell'Oro Group. "Beyond the GPU Arms Race — The Potential Role of OXC in Building Next Gen AI Infrastructure." 2025. https://www.delloro.com/beyond-the-gpu-arms-race-the-potential-role-of-oxc-in-building-next-gen-ai-infrastructure/

2. Dell'Oro Group. "Beyond the GPU Arms Race."

3. NVIDIA Newsroom. "NVIDIA Announces New Switches Optimized for Trillion-Parameter GPU Computing and AI Infrastructure." 2025. https://nvidianews.nvidia.com/news/networking-switches-gpu-computing-ai

4. NVIDIA Newsroom. "NVIDIA Announces New Switches."

5. QSFP DD 800G. "2025 800G Optical Module Trends for AI Data Centers." 2025. https://qsfpdd800g.com/blogs/artical/2025-800g-optical-module-trends-ai-data-centers

6. QSFP DD 800G. "2025 800G Optical Module Trends."

7. Lightwave Online. "Ethernet maintains a lead over InfiniBand in the AI race." 2025. https://www.lightwaveonline.com/home/article/55315256/ethernet-maintains-a-lead-over-infiniband-in-the-ai-race

8. Lightwave Online. "Ethernet maintains a lead over InfiniBand."

9. Microsoft Blog. "Inside the world's most powerful AI datacenter." September 18, 2025. https://blogs.microsoft.com/blog/2025/09/18/inside-the-worlds-most-powerf

[Вміст скорочено для перекладу]