Оптичні мережі для AI: 400ZR та когерентна оптика для GPU інтерконекту
Оновлено 8 грудня 2025 року
Оновлення грудень 2025: 800G когерентна оптика (800ZR+) тепер поставляється кількома постачальниками, включаючи Cisco, Ciena та Infinera. Демонстрації co-packaged optics (CPO) при ємності комутаторів 51.2T. Linear-drive pluggable оптика зменшує енергоспоживання на 40% порівняно з рішеннями на основі DSP. NVIDIA NVLink-C2C використовує кремнієву фотоніку для оптичного міжчипового з'єднання в стійках GB200 NVL72. Ринок оптики для AI дата-центрів прогнозується досягти $8.2 млрд до 2028 року, що обумовлено GPU інтерконектами масштабу стійки, які вимагають 400G+ на з'єднання.
Суперкомп'ютер Google TPU v5p досягає 8.5 екзафлопс обчислювальної потужності, з'єднуючи 8,960 чипів за допомогою оптичних комутаторів ланцюгів, які забезпечують 4 петабіти в секунду сукупної пропускної здатності з часом перемикання менше 10 наносекунд, що дозволяє динамічну реконфігурацію топології, яка покращує швидкість навчання в 2.7 рази порівняно з традиційним електронним перемиканням.¹ Оптичне з'єднання пошукового гіганта споживає 5 ват на з'єднання 100Гбіт/с проти 35 ват для електронних комутаторів — 7-кратний виграш в енергоефективності, що економить $24 мільйони щорічно на витратах на електроенергію в їх AI інфраструктурі. Традиційні мідні кабелі досягають фізичних обмежень на 3 метрах для з'єднань 400Гбіт/с, змушуючи дата-центри переходити на оптичні з'єднання, які підтримують цілісність сигналу на відстані 2 кілометри, усуваючи електромагнітні перешкоди, що пошкоджують розрахунки градієнтів під час розподіленого навчання. Організації, що впроваджують оптичні мережі для AI, повідомляють про 50% зменшення складності кабельних з'єднань, 85% нижчу варіабельність затримки та можливість динамічно реконфігурувати топологію мережі відповідно до конкретних архітектур моделей.²
Вибуховий ріст параметрів AI моделей — від 175 мільярдів GPT-3 до 1.7 трильйона GPT-4 за чутками — вимагає пропускної здатності мережі, яка подвоюється кожні 6 місяців, значно випереджаючи покращення обчислень за законом Мура.³ Когерентна оптична технологія, запозичена з далекомагістральних телекомунікацій, тепер з'являється всередині дата-центрів з трансиверами 400ZR, що забезпечують 400Гбіт/с по одномодовому волокну за $4 за гігабіт проти $12 для традиційної оптики. Кремнієва фотоніка обіцяє інтегрувати оптичні компоненти безпосередньо на GPU, усуваючи електрично-оптичне перетворення, яке зараз споживає 30% бюджету потужності мережі. Організації, які освоюють оптичні з'єднання для AI інфраструктури, отримують стійкі переваги завдяки вищій щільності пропускної здатності, нижчому енергоспоживанню та гнучкості мережі, неможливій з архітектурами на основі міді.
Основи когерентної оптики для дата-центрів
Когерентна оптична технологія революціонізує мережі дата-центрів, кодуючи інформацію як в амплітуді, так і в фазі світлових хвиль:
Принципи когерентного детектування: Традиційне пряме детектування вимірює лише інтенсивність світла, досягаючи максимум 100Гбіт/с на довжину хвилі. Когерентне детектування захоплює інформацію про амплітуду, фазу та поляризацію, дозволяючи 800Гбіт/с на довжину хвилі з використанням модуляції 16-QAM.⁴ Цифрові сигнальні процесори компенсують хроматичну дисперсію та дисперсію поляризаційних мод у реальному часі. Когерентні приймачі досягають чутливості на 20дБ кращої за пряме детектування, збільшуючи дальність від 10км до 120км без підсилення.
Реалізація стандарту 400ZR: Специфікація OIF 400ZR визначає сумісні 400Гбіт/с когерентні інтерфейси, оптимізовані для з'єднання дата-центрів.⁵ Модуляція 16-QAM кодує 4 біти на символ через подвійну поляризацію. Конкатенована корекція помилок вперед досягає частоти бітових помилок 10^-15. Форм-фактор QSFP-DD підтримує зворотну сумісність з існуючою інфраструктурою. Енергоспоживання залишається під 15 ватами, дозволяючи розгортання високої щільності.
Інтеграція кремнієвої фотоніки: Трансивери кремнієвої фотоніки Intel інтегрують лазери, модулятори та детектори на одинарних чипах.⁶ Виробничі процеси CMOS зменшують витрати на 90% порівняно з дискретними компонентами. Хвилеводи, витравлені в кремнії, спрямовують оптичні сигнали з втратами 0.1дБ/см. Мікрокільцеві резонатори забезпечують мультиплексування з поділом довжини хвилі на чипі. Монолітна інтеграція усуває 80% оптичних з'єднань, які викликають проблеми надійності.
Переваги когерентної оптики для AI робочих навантажень: - У 8 разів більша пропускна здатність на волокно порівняно з прямим детектуванням - Дальність 100км без підсилювальних станцій - Цифрова компенсація оптичних погіршень - Гнучка модуляція, що адаптується до вимог відстані - Налаштування довжини хвилі, що дозволяє динамічну маршрутизацію - Корекція помилок вперед, що забезпечує цілісність даних
Шаблони мережевої архітектури
Оптичні мережі для AI слідують певним архітектурним шаблонам, оптимізуючи пропускну здатність та гнучкість:
Повністю оптична spine-leaf фабрика: Повністю оптична spine-leaf архітектура усуває електронне перемикання в шляху даних. Leaf комутатори підключаються до GPU серверів за допомогою трансиверів 400ZR. Рівень spine використовує комутатори з селекцією довжини хвилі, маршрутизуючи специфічні лямбди. Кожне spine-leaf з'єднання несе 32 довжини хвилі по 400Гбіт/с загалом 12.8Тбіт/с. Оптичні підсилювачі посилюють сигнали без оптично-електрично-оптичного перетворення. Трафік схід-захід між GPU повністю обходить електронне перемикання.
Оптична комутація ланцюгів: Мережа Jupiter Google використовує оптичні комутатори ланцюгів для масового передавання даних.⁷ Централізований SDN контролер програмує оптичні шляхи на основі вимог трафіку. Встановлення ланцюга займає 10 наносекунд проти 500 наносекунд для пакетної комутації. Виділені оптичні шляхи усувають черги та перевантаження. Завдання навчання резервують пропускну здатність, гарантуючи послідовну продуктивність. Динамічна реконфігурація адаптується до змінних шаблонів трафіку.
Дезагреговані оптичні мережі: Відділяють оптичний транспорт від функцій обробки пакетів. Оптичний транспорт забезпечує довжини хвиль точка-точка. Обробка пакетів відбувається лише на краях мережі. Усуває 60% мережевого обладнання з шляху даних. Зменшує затримку з 5 мікросекунд до 200 наносекунд. Спрощує операції через незалежне масштабування оптичних та пакетних рівнів.
Фотонні мережі Clos: Багатоступеневі оптичні комутаційні фабрики, натхненні мережами Clos. Кремнієві фотонні комутатори забезпечують неблокуючу з'єднаність. Решітки хвилеводів з масивом маршрутизують довжини хвиль без споживання потужності. Масштабується до 100,000 портів з трирівневою архітектурою. Під-наносекундна комутація дозволяє тонке налаштування трафіку. Відмовостійкість через кілька оптичних шляхів.
Найкращі практики впровадження
Успішні розгортання оптичних мереж слідують встановленим практикам:
Планування волоконної інфраструктури: Одномодове волокно підтримує відстані до 120км з когерентною оптикою. Специфікації волокна класу OS2 забезпечують <0.4дБ/км затухання. Мінімальний радіус згину 15мм запобігає втратам мікрозгину. Системи кольорового кодування та маркування запобігають неправильному з'єднанню. Характеризація волокна за допомогою OTDR виявляє погіршення перед розгортанням. Підтримуйте 20% запасної ємності волокна для майбутнього розширення.
Управління оптичною потужністю: Потужності запуску між -10дБм та +5дБм запобігають нелінійним ефектам. Оптичні підсилювачі підтримують постійну потужність по спектру довжин хвиль. Змінні оптичні атенюатори балансують потужність по паралельних шляхах. Монітори потужності в кожній точці з'єднання дозволяють усунення проблем. Автоматичне керування потужністю компенсує старіння компонентів. Протоколи безпеки запобігають пошкодженню очей невидимим інфрачервоним світлом.
Планування та управління довжинами хвиль: Сітка ITU-T визначає стандартні канали довжин хвиль, уникаючи перешкод. DWDM системи підтримують 96 каналів у C-діапазоні (1530-1565нм). Алгоритми призначення довжин хвиль запобігають конфліктам. Захисні смуги між каналами зменшують перехресні завади. Фіксатори довжини хвилі підтримують частотну стабільність у межах 2.5ГГц. Перетворення довжин хвиль дозволяє гнучку маршрутизацію.
Тестування та валідація: Тестери частоти бітових помилок перевіряють продуктивність з'єднання перед продакшеном. Оптичні аналізатори спектру вимірюють якість сигналу та OSNR. Тестування дисперсії поляризаційних мод забезпечує довгострокову стабільність. Аналіз діаграми очей підтверджує цілісність сигналу. Тестування зворотного зв'язку ізолює проблеми до конкретних сегментів. Безперервний моніторинг виявляє деградацію перед відмовами.
Introl проектує та розгортає рішення оптичних мереж для AI інфраструктури в нашій області покриття, з експертизою в когерентній оптиці та кремнієвій фотоніці для GPU інтерконектів.⁸ Наші команди оптичних інженерів впровадили понад 200 високопропускних AI кластерів, використовуючи передові фотонні технології.
Революція кремнієвої фотоніки
Кремнієва фотоніка переносить оптичні компоненти на ті ж чипи, що й процесори:
Co-packaged оптика: NVLink NVIDIA використовує мідні кабелі, обмежуючи дальність до 2 метрів. Co-packaged оптика розміщує трансивери на міліметри від GPU кристалів. Усуває серіалізатор/десеріалізатор, що споживає 10 ват на 100Гбіт/с. Зменшує затримку з 100 наносекунд до 10 наносекунд. Дозволяє 1.6Тбіт/с на край GPU пакунка. OCP 2.0 Intel демонструє co-packaged оптику на 51.2Тбіт/с.⁹
Повністю оптичні комутатори: Фотонні комутатори маршрутизують оптичні сигнали без перетворення. MEMS дзеркала перенаправляють світлові промені за 10 мікросекунд. Кремнієві фотонні комутатори досягають наносекундної реконфігурації. Нульове споживання потужності в стаціонарному стані. Масштабується до 1000x1000 портів в одному чипі. Усуває 95% потужності порівняно з електронними комутаторами.
Оптичні обчислювальні з'єднання: Замінюють PCIe оптичними з'єднаннями між GPU та CPU. CXL через оптику розширює домени когерентності пам'яті до масштабу стійки. Кеш-когерентні оптичні фабрики дозволяють кластери з 10,000 GPU. Оптичні з'єднання пам'яті забезпечують пропускну здатність 10ТБ/с. Пряме оптичне підключення до стеків пам'яті HBM. Passage компанії Lightmatter демонструє пропускну здатність чіп-чіп 100Тбіт/с.¹⁰
Квантові точкові лазери: Квантові точкові лазери, інтегровані на кремнії, забезпечують джерела світла. Нечутлива до температури робота усуває вимоги охолодження. Термін служби 100,000 годин перевищує надійність електронних компонентів. Масиви лазерів дозволяють масивний паралелізм. Енергоефективність 0.1 пікоджоуля на біт. Масове виробництво з використанням стандартних напівпровідникових процесів.
Реальні оптичні розгортання
AI Research SuperCluster Meta: - Масштаб: 16,000 GPU A100 з оптичними з'єднаннями 200Гбіт/с - Пропускна здатність: 13 петабіт/секунда сукупної пропускної здатності фабрики - Архітектура: Трирівнева Clos з оптичним spine рівнем - Технологія: 400ZR когерентна оптика для міжбудівельних з'єднань - Затримка: 1.5 мікросекунди через кампус 2,000 футів - Результат: У 3 рази швидше навчання моделей порівняно з попередньою інфраструктурою
Project Sirius Microsoft Azure: - Інновація: Повністю оптична комутація для AI робочих навантажень - Продуктивність: 12.8Тбіт/с на оптичний комутатор - Ефективність: 85% зменшення потужності порівняно з електронною комутацією - Масштаб: З'єднання 100,000 GPU оптично - Комутація: Під-мікросекундне встановлення оптичних ланцюгів - Вплив: 40% зменшення витрат на навчання
Оптичний дата-центр Alibaba Cloud: - Розгортання: 400G когерентна оптика по всій установі - Дальність: 40км з'єднаність кампусу без підсилення - Щільність: 38.4Тбіт/с на стійку з використанням оптичної комутації - Потужність: 3 вати на оптичне з'єднання 100Гбіт/с - Гнучкість: Динамічна маршрутизація довжин хвиль на основі робочого навантаження - Економія: $15 мільйонів щорічного зменшення витрат на електроенергію
Frontier Oak Ridge National Laboratory: - Обчислення: 37,000 GPU AMD MI250X - Інтерконект: Фабрика Slingshot з оптичними з'єднаннями - Пропускна здатність: 100ГБ/с пропускна здатність впорскування на вузол - Топологія: Dragonfly+ з оптичними груповими з'єднаннями - Відстань: Оптичні з'єднання, що охоплюють установу 300 метрів - Досягнення: Перша в світі ексамасштабна система
Аналіз енергоефективності
Оптичні мережі драматично зменшують споживання потужності дата-центру:
Порівняння потужності з'єднань (на 100Гбіт/с): - Мідний DAC (3м): 35 ват - Активний оптичний кабель (100м): 12 ват - Кремнієва фотоніка (2км): 5 ват - Когерентна оптика (40км): 3.5 ват - Майбутня фотоніка: <1 ват прогнозується
Економія на рівні системи: Рівень агрегації фабрики Facebook використовує 90% оптичних з'єднань. Ефективність використання потужності покращується з 1.4 до 1.15 з оптичною комутацією. Потужність мережевого обладнання падає з 15% до 5%
