Комутатори InfiniBand: NVIDIA Quantum-X800 та покоління XDR, що живлять суперкомп'ютери для ШІ

Оновлено 11 грудня 2025 року

Оновлення за грудень 2025 року: Ринок InfiniBand досягає $25,7 млрд у 2025 році з прогнозом $126,99 млрд до 2030 року (CAGR 37,60%). Quantum-X800 забезпечує 144 порти підключення 800 Гбіт/с XDR з 14,4 TFLOPS внутрішньомережевих обчислень (у 9 разів більше порівняно з NDR). Затримка між портами менше 100 нс. 64 000 систем GB200 Stargate та зетамасштабний суперкластер Oracle на 131 000 GPU працюють на InfiniBand.

Продажі комутаторів InfiniBand різко зросли у Q2 2025 року, оскільки платформа NVIDIA Blackwell Ultra стимулювала попит на мережі 800 Гбіт/с.¹ Ринок InfiniBand, оцінений у $25,74 млрд у 2025 році, прогнозує зростання до $126,99 млрд до 2030 року із середньорічним темпом зростання 37,60%.² Хоча Ethernet зберігає загальне лідерство на ринку серверних мереж для ШІ, InfiniBand домінує у найвисокопродуктивніших розгортаннях, де затримка, виміряна у сотнях наносекунд, визначає ефективність навчання.

Платформа Quantum-X800 представляє відповідь NVIDIA на вимоги моделей із трильйонами параметрів. Із 144 портами підключення 800 Гбіт/с, 14,4 терафлопсами внутрішньомережевих обчислень через SHARP v4 та затримкою між портами менше 100 наносекунд, покоління XDR подвоює пропускну здатність, забезпечуючи при цьому у 9 разів більше внутрішньомережевих обчислень порівняно з попередньою платформою NDR.³ Великі інсталяції, включаючи 64 000 систем GB200 Stargate та зетамасштабний суперкластер Oracle на 131 000 GPU, покладаються на NVIDIA InfiniBand для підтримки тісної синхронізації, якої вимагає розподілене навчання ШІ.⁴

Еволюція від NDR до XDR

Покоління InfiniBand просуваються через стандартизовані прирости швидкості: QDR (40 Гбіт/с), FDR (56 Гбіт/с), EDR (100 Гбіт/с), HDR (200 Гбіт/с), NDR (400 Гбіт/с) і тепер XDR (800 Гбіт/с).⁵ Кожне покоління подвоює пропускну здатність на порт, зберігаючи при цьому низьку затримку та апаратну надійність, що відрізняють InfiniBand від альтернатив Ethernet.

NDR (Next Data Rate), представлений у 2021 році, забезпечував порти 400 Гбіт/с, використовуючи чотири лінії SerDes з кодуванням PAM-4 на частоті 51,6 ГГц.⁶ ASIC Quantum-2, що живлять комутатори NDR, забезпечують 256 ліній SerDes з односпрямованою пропускною здатністю 25,6 Тбіт/с, обробляючи 66,5 мільярда пакетів на секунду через 64 порти підключення 400 Гбіт/с.⁷ NDR запровадив роз'єми OSFP в InfiniBand, що дозволяє одне або два з'єднання в конфігураціях 2x (NDR200) або 4x (NDR400).⁸

Специфікація XDR (eXtreme Data Rate), випущена InfiniBand Trade Association у жовтні 2023 року, подвоює пропускну здатність для задоволення потреб центрів обробки даних ШІ та HPC.⁹ Підтримка SerDes на 200 Гбіт/с на лінію забезпечує порти 800 Гбіт/с, при цьому з'єднання між комутаторами досягають 1,6 Тбіт/с.¹⁰ XDR представляє SHARP четвертого покоління, покращення наднизької затримки, можливості самовідновлення та інтеграцію кремнієвої фотоніки.¹¹

Дорожня карта продовжується до технології GDR (Giga Data Rate), що забезпечує 1,6 Тбіт/с на порт для майбутніх поколінь, гарантуючи збереження лідерської позиції InfiniBand у продуктивності.¹²

Архітектура платформи NVIDIA Quantum-X800

Платформа Quantum-X800 забезпечує першу реалізацію XDR InfiniBand, спеціально створену для моделей ШІ масштабу трильйона параметрів.¹³ Комутатор Q3400-RA 4U використовує технологію SerDes 200 Гбіт/с на лінію — перший комутаторний кремній, що досяг цього класу швидкості.¹⁴

Щільність портів значно зростає. Комутатор забезпечує 144 порти підключення 800 Гбіт/с, розподілені по 72 роз'ємах OSFP.¹⁵ Високий radix дозволяє ефективні топології фабрик, при цьому дворівневе fat-tree може з'єднувати до 10 368 NIC ConnectX-8 з мінімальною затримкою та оптимальною локальністю завдань.¹⁶

Технічні характеристики продуктивності націлені на найвимогливіші робочі навантаження ШІ. Затримка між портами становить менше 100 наносекунд.¹⁷ Адаптивна маршрутизація динамічно розподіляє трафік по доступних шляхах. Контроль перевантаження на основі телеметрії запобігає насиченню мережі до того, як воно вплине на використання GPU.¹⁸

Корпуси з двома комутаторами в моделях на кшталт Q3200-RA забезпечують 72 порти 800 Гбіт/с з агрегованою пропускною здатністю між комутаторами 1,6 Тбіт/с, що дозволяє топології spine-leaf, які вимагають великі кластери ШІ.¹⁹ Опціональні можливості маршрутизатора полегшують розширення кластерів InfiniBand на кілька сайтів, підтримуючи середовища розподіленого навчання, що охоплюють географічні локації.²⁰

Внутрішньомережеві обчислення SHARP усувають вузькі місця

Протокол масштабованої ієрархічної агрегації та редукції (Scalable Hierarchical Aggregation and Reduction Protocol — SHARP) від NVIDIA представляє визначальну технологічну перевагу InfiniBand над альтернативами Ethernet. Вивантажуючи колективні операції, такі як all-reduce та broadcast, на мережеві комутатори, SHARP значно зменшує обсяг передачі даних та мінімізує джитер сервера під час розподіленого навчання.²¹

Еволюція через чотири покоління поступово розширювала можливості SHARP:

SHARPv1 зосереджувався на операціях редукції малих повідомлень для наукових обчислень, демонструючи суттєві покращення продуктивності, прийняті провідними бібліотеками MPI.²²

SHARPv2, представлений з комутаторами HDR 200 Гбіт/с Quantum, додав підтримку робочих навантажень ШІ, включаючи операції редукції великих повідомлень. Бенчмарки продемонстрували 17% покращення продуктивності навчання BERT.²³

SHARPv3 увімкнув мультитенантні внутрішньомережеві обчислення, дозволяючи кільком робочим навантаженням ШІ використовувати можливості SHARP одночасно. Microsoft Azure продемонстрував майже на порядок кращу продуктивність для затримки AllReduce, використовуючи це покоління.²⁴

SHARPv4 постачається стандартно з комутаторами Quantum-X800 та Quantum-X Photonics, забезпечуючи внутрішньомережеву агрегацію та редукцію, що мінімізує накладні витрати на комунікацію GPU-to-GPU.²⁵ У поєднанні з підтримкою точності FP8, SHARP v4 прискорює навчання моделей із трильйонами параметрів, зменшуючи як вимоги до пропускної здатності, так і до обчислень, забезпечуючи швидшу збіжність та вищу пропускну здатність.²⁶

Технологія інтегрується з NVIDIA Collective Communication Library (NCCL), дозволяючи фреймворкам розподіленого навчання ШІ використовувати SHARP автоматично. Постачальники послуг повідомляють про 10-20% покращення продуктивності для робочих навантажень ШІ завдяки інтеграції SHARP.²⁷ Мережеві комутатори виконують агрегацію та редукцію безпосередньо, обходячи CPU та GPU для цих завдань, одночасно подвоюючи пропускну здатність AllReduce порівняно з конфігураціями без SHARP.²⁸

ConnectX-8 SuperNIC забезпечує кінцеві точки 800 Гбіт/с

Платформа Quantum-X800 поєднується з адаптерами ConnectX-8 SuperNIC для досягнення наскрізної пропускної здатності 800 Гбіт/с.²⁹ C8180 представляє перший двопротокольний SuperNIC 800 Гбіт/с від NVIDIA, що підтримує як InfiniBand, так і Ethernet, розроблений для високопродуктивних обчислювальних кластерів ШІ, суперкомп'ютерних мереж та архітектур центрів обробки даних наступного покоління.³⁰

Технічні характеристики значно просувають можливості адаптерів. Однопортовий інтерфейс OSFP забезпечує 800 Гбіт/с XDR InfiniBand або два порти 400 Гбіт/с Ethernet.³¹ Підключення PCIe Gen6 x16 забезпечує пропускну здатність інтерфейсу хоста, що відповідає мережевим швидкостям.³² Автоузгодження підтримує зворотну сумісність зі швидкостями InfiniBand XDR, NDR, NDR200, HDR, HDR100, EDR, FDR та SDR.³³

Архітектурні інновації виходять за межі сирої пропускної здатності. ConnectX-8 інтегрує нативну підтримку PCIe Gen6 з вбудованою комутаційною фабрикою PCIe, усуваючи вимоги до зовнішніх комутаторів PCIe.³⁴ Адаптер містить 48 ліній PCIe Gen6 за інтерфейсом роз'єму x16.³⁵ Нативна підтримка SHARP прискорює операції агрегації та редукції безпосередньо в апаратному забезпеченні адаптера.³⁶

Технологія Socket Direct адресує архітектури двосокетних серверів. Прямий доступ від кожного CPU до мережі через виділені інтерфейси PCIe покращує продуктивність у системах, де топологія CPU-to-network впливає на затримку.³⁷ GB300 NVL72 представляє перше розгортання можливостей SuperNIC PCIe Gen6, підключаючись до CPU Grace на швидкостях Gen5, зберігаючи при цьому з'єднання Gen6 до GPU B300.³⁸

Unified Fabric Manager оркеструє у масштабі

Платформа UFM революціонізує управління фабрикою InfiniBand, поєднуючи телеметрію мережі в реальному часі з аналітикою на основі ШІ.³⁹ Хост-рішення забезпечує повну видимість управління фабрикою, маршрутизації, провізіонінгу та усунення несправностей.

Архітектура UFM охоплює кілька компонентів. UFM Server підтримує повну видимість фабрики та управляє маршрутизацією на всіх пристроях. Керовані комутаційні пристрої включають фабричні комутатори, шлюзи та маршрутизатори під контролем UFM. Опціональні агенти UFM Host на обчислювальних вузлах надають локальні дані хоста та функціональність управління пристроями.⁴⁰

Три рівні платформи адресують різні операційні вимоги:

UFM Telemetry збирає понад 120 унікальних лічильників на порт, включаючи частоту бітових помилок, температуру, гістограми та повторні передачі.⁴¹ Дані дозволяють прогнозувати проблемні кабелі до того, як відмови вплинуть на виробничі навантаження.

UFM Enterprise додає моніторинг мережі, управління, оптимізації робочих навантажень та періодичну валідацію конфігурації.⁴² Інтеграція з планувальниками завдань Slurm та Platform LSF дозволяє автоматизований мережевий провізіонінг, узгоджений з плануванням навантажень. Інтеграції з OpenStack та Azure підтримують моделі хмарного розгортання.⁴³

UFM Cyber-AI забезпечує превентивне обслуговування та можливості кібербезпеки для зниження операційних витрат суперкомп'ютерів.⁴⁴ Розгортання виділеного пристрою дозволяє локальний аналіз фабрики на основі ШІ.

UFM SDK пропонує розширені інтеграції з третіми сторонами, включаючи плагіни Grafana, FluentD, Zabbix та Slurm через доступ до REST API.⁴⁵ Проєкти з відкритим кодом дозволяють інтеграцію SLURM для моніторингу пропускної здатності мережі, перевантажень, помилок та використання ресурсів на обчислювальних вузлах завдань.

Великі розгортання суперкомп'ютерів підтверджують платформу

Найбільші у світі системи ШІ стандартизуються на мережах NVIDIA InfiniBand. Поточні та заплановані розгортання демонструють можливості платформи Quantum у масштабі.

Stargate AI Data Center почав встановлення 64 000 систем GB200 у березні 2025 року, з'єднаних InfiniBand 800 Гбіт/с для мультиексафлопсних сервісів ШІ.⁴⁶ Розгортання представляє одну з перших великомасштабних реалізацій XDR.

xAI Colossus працює на 100 000 GPU H100, використовуючи комутатори Quantum-2, підтримуючи найгіршу затримку 850 наносекунд через три мережеві рівні.⁴⁷ Кластер у Мемфісі навчає сімейство великих мовних моделей Grok від xAI.

Oracle Zetta-scale Supercluster планує 131 000 GPU GB200, з'єднаних через фабрику Quantum InfiniBand, демонструючи прихильність хмарних провайдерів до InfiniBand для інфраструктури ШІ максимальної продуктивності.⁴⁸

El Capitan у Lawrence Livermore National Laboratory перевищить 2 ексафлопси, використовуючи InfiniBand 200 Гбіт/с, демонструючи постійну актуальність мереж класу NDR для наукових обчислень.⁴⁹

JUPITER (250 млн євро) та Blue Lion (250 млн євро) у Європі обрали фабрики Quantum-2, що відповідають суворим вимогам енергоефективності, забезпечуючи при цьому продуктивність, якої вимагають наукові навантаження.⁵⁰

Дохід NVIDIA від мереж досяг $10 млрд на рік, майже повністю пов'язаний з фабриками InfiniBand, що живлять комерційні хмари ШІ.⁵¹ Microsoft Azure та Oracle Cloud Infrastructure представляють початкових користувачів Quantum InfiniBand серед гіперскейлерів.⁵²

Позиціонування InfiniBand проти Ethernet

Ринкова динаміка відображає чітке позиціонування для кожної технології. Коли Dell'Oro Group почала відстежувати серверні мережі ШІ наприкінці 2023 року, InfiniBand мав понад 80% частки ринку.⁵³ З того часу Ethernet отримав позиції завдяки прийняттю гіперскейлерами та ціновим перевагам, зберігаючи загальне лідерство на ринку у 2025 році.⁵⁴

Характеристики продуктивності диференціюють технології. InfiniBand забезпечує затримку менше мікросекунди через апаратно прискорений RDMA та внутрішньомережеві обчислення. Ethernet досягає конкурентної пропускної здатності при правильній конфігурації з RoCE, але вимагає ретельної конфігурації безвтратної мережі та не має еквівалентних можливостей внутрішньомережевих обчислень.

Структури витрат сприяють Ethernet для багатьох розгортань. Компанії рівня 2 та 3, що розгортають кластери на 256-1024 GPU, зазвичай виявляють, що Ethernet з RoCE забезпечує прийнятну продуктивність приблизно за половину вартості мережі.⁵⁵ Ціннісна пропозиція InfiniBand посилюється у більших масштабах, де внутрішньомережеві обчислення SHARP та жорсткіші межі затримки перетворюються

[Вміст скорочено для перекладу]