Системи керування кабелями: Волоконно-оптичні магістралі та маршрутизація високої щільності для ЦОД штучного інтелекту

Оновлено 11 грудня 2025 року

Оновлення за грудень 2025 року: ЦОД штучного інтелекту потребують у 10 разів більше волоконно-оптичних кабелів, ніж звичайні установки. Середня щільність стійок зростає з 15 кВт (2022) до 40 кВт у нових залах ШІ, подвоюючи кількість горизонтальних кабельних трас на стійку. Ринок дротів та кабелів для центрів обробки даних досягає $20,9 млрд у 2025 році з прогнозом $54,8 млрд до 2031 року. Кластери ШІ компанії Meta досягають PUE 1,1 із верхньою прокладкою кабелів. Роз'єми MPO-16 та VSFF підтримують 800G сьогодні та плани переходу на 1,6T.

Центри обробки даних генеративного ШІ потребують у десять разів більше волоконно-оптичних кабелів, ніж звичайні установки, для підтримки кластерів GPU та міжз'єднань із низькою затримкою.¹ Кабельна інфраструктура, що з'єднує тисячі GPU через мережі 800G, створює проблеми керування, які традиційні конструкції центрів обробки даних ніколи не передбачали. Окремі кластери GPU, що вимагають 10-140 кВт на стійку, змушують операторів перепроектовувати компонування навколо рідинних колекторів та охолоджувальної інфраструктури, тоді як середня щільність стійок, що зростає з 15 кВт у 2022 році до 40 кВт у нових залах ШІ, подвоює кількість горизонтальних кабельних трас на стійку.²

Ринок систем керування кабелями для центрів обробки даних прогнозує значне зростання, оскільки робочі навантаження ШІ змінюють вимоги до інфраструктури.³ Ринок дротів та кабелів для центрів обробки даних досяг $20,91 млрд у 2025 році з прогнозами до $54,82 млрд до 2031 року при середньорічному темпі зростання 7,94%.⁴ Зростання ринку кабельних лотків на 9,8% відображає підвищені інвестиції в будівництво та модернізацію центрів обробки даних.⁵ Для організацій, що розгортають інфраструктуру ШІ, рішення щодо керування кабелями, прийняті під час проектування, безпосередньо впливають на ефективність охолодження, зручність обслуговування та можливості для майбутнього зростання пропускної здатності.

Верхня прокладка порівняно з підлоговою для ШІ

Традиційна модель центру обробки даних із фальшпідлогою поступається верхній прокладці в сучасних розгортаннях ШІ. Цей перехід є відповіддю як на вимоги до охолодження, так і на обмеження щільності кабелів у підлогових магістралях.

Переваги верхньої прокладки множаться в середовищах високої щільності. Волоконна оптика та AOC підвішуються над стійками, щоб не блокувати повітряний потік холодного коридору.⁶ Кластери ШІ компанії Meta використовують верхню прокладку для досягнення PUE до 1,1.⁷ Менш дороге будівництво, легше додавання та відстеження кабелів, а також відокремлення від високовольтних силових кабелів сприяють підходам із верхньою прокладкою.⁸

Обмеження підлогової прокладки стають гострими при щільностях ШІ. Перевантаження кабелями перешкоджає повітряному потоку та створює гарячі точки, що знижують ефективність охолодження.⁹ Підлоговий розподіл електроенергії створює численні проблеми в середовищах високої щільності, де кожен ват втраченого тепла навантажує систему термічного управління.¹⁰ Магістралі, розраховані на традиційну кількість кабелів центру обробки даних, не можуть вмістити п'ятикратне збільшення, яке вимагає мережа ШІ.

Коли підлогова прокладка працює: Короткі мідні DAC, розміщені під фальшпідлогою, потребують щонайменше 6-дюймового (15 см) зазору для запобігання блокування повітряного потоку.¹¹ Підлогові магістралі повинні проходити паралельно рядам шаф та напрямку повітряного потоку. Низьковольтні магістралі не повинні бути глибшими за 6 дюймів, а кабельні лотки повинні бути заповнені не більше ніж на 50%.¹² Фальшпідлоги залишаються корисними для об'єктів із нижчою щільністю потужності або тих, що потребують частих змін та доповнень.¹³

Інтеграція рідинного охолодження ускладнює рішення щодо прокладки. Колектори рідинного охолодження займають простір, який раніше використовувався для кабельних лотків, змушуючи проектувальників перенаправляти пучки з меншими радіусами згину.¹⁴ Планування має з самого початку враховувати як кабельні магістралі, так і розподіл теплоносія, а не розглядати будь-що з цього як другорядне.

Сучасні центри обробки даних все частіше використовують бетонні підлоги з кабелями та охолодженням, що проходять зверху, а не знизу.¹⁵ Стратегії охолодження із свіжим повітрям та ізоляцією гарячого коридору працюють ефективніше, ніж підлоговий розподіл повітря для розгортань високої щільності.¹⁶

Проектування волоконно-оптичних магістралей для інфраструктури 800G

Провідні хмарні провайдери проектують центри обробки даних з архітектурою, орієнтованою на оптику, де волоконно-оптичні магістралі отримують такий самий пріоритет планування, як електроживлення та охолодження, а не розглядаються як другорядні елементи.¹⁷ Такий підхід визнає волоконно-оптичну інфраструктуру фундаментальною для можливостей ШІ.

Вимоги до пропускної здатності визначають щільність волокон. Одна стійка ШІ з 16 GPU може генерувати 400+ Гбіт/с трафіку схід-захід, створюючи серйозні вузькі місця на застарілих каналах.¹⁸ 800 Гбіт/с становитимуть більшість портів внутрішньої мережі ШІ до 2025 року.¹⁹ Перехід на 1,6T продовжує ескалацію щільності.

Архітектура резервування забезпечує доступність. Сучасні центри обробки даних розгортають волоконні мережі з кількома магістралями та резервними з'єднаннями, що дозволяє миттєво перенаправляти трафік у разі відмови одного каналу.²⁰ Відмовостійка конструкція захищає робочі навантаження ШІ від збоїв зв'язку, які призвели б до простою дорогих ресурсів GPU.

Модульне масштабування забезпечує майбутні оновлення. Волоконні системи масштабуються лінійно через модульні касети, MTP-магістралі та панелі високої щільності, що дозволяє оновлюватися до 800G+ без демонтажу інфраструктури.²¹ Мережа, побудована для вимог 400G, повинна підтримувати 800G, 1,6T або вищі швидкості через оновлення компонентів, а не реконструкцію магістралей.

Щільність роз'ємів важлива для високошвидкісної інфраструктури. Роз'єми MPO-16 та VSFF (Very Small Form Factor) підтримують 800G сьогодні та мережі 1,6T майбутнього.²² Кабелі FS MMC та волоконні панелі забезпечують утричі більшу щільність портів, ніж формати MTP/MPO.²³ Один роз'єм MPO/MTP термінує кілька волокон (від 8 до 32 або більше), об'єднуючи численні з'єднання в компактні інтерфейси.²⁴

Чутливість до затримки впливає на проектування магістралей. У середовищах ШІ мережева відстань між GPU вимірюється в наносекундах затримки.²⁵ Кожен додатковий роз'єм або точка комутації стає потенційним вузьким місцем, тому архітектура волоконної мережі повинна мінімізувати фізичні інтерфейси, зберігаючи при цьому зручність обслуговування.²⁶

Технології роз'ємів високої щільності

Перехід до 800G і вище стимулює інновації в роз'ємах, що відповідають вимогам щільності та продуктивності.

Роз'єми MPO/MTP залишаються основним стандартом. Роз'єми Multi-fiber Push On (MPO) та Multi-fiber Termination Push-on (MTP) об'єднують кілька волоконних термінацій в єдині інтерфейси.²⁷ Варіанти від 8 до 32 волокон забезпечують різні конфігурації щільності, що відповідають вимогам трансиверів.

Роз'єми VSFF суттєво збільшують щільність. Роз'єми CS, SN та MDC мають значно менші габарити, ніж традиційні роз'єми LC, що дозволяє розмістити більше з'єднань у еквівалентному просторі стійки.²⁸ Менший форм-фактор стає критичним, оскільки кількість волокон зростає для мереж ШІ.

Роз'єми MMC ще більше підвищують щільність. Компанія FS запустила рішення з роз'ємами MMC у грудні 2025 року спеціально для кабельної інфраструктури центрів обробки даних, орієнтованих на ШІ, забезпечуючи утричі більшу щільність, ніж MPO, зберігаючи при цьому оптичні характеристики.²⁹

Керування полярністю вимагає ретельного планування. Системи MPO/MTP потребують узгодженої полярності по всіх магістральних кабелях, касетах та патч-кордах. Помилки полярності спричиняють збої з'єднань, що затримують розгортання та ускладнюють усунення несправностей. Попередньо терміновані збірки з перевіреною полярністю зменшують помилки встановлення у великих кластерах.³⁰

Найкращі практики керування кабелями для серверів GPU

Стійки GPU високої щільності створюють теплові та організаційні проблеми, що вимагають дисциплінованих підходів до керування кабелями.

Захист повітряного потоку безпосередньо впливає на ефективність охолодження. Дослідження показують, що належне керування кабелями знижує витрати на охолодження на 20-30% за рахунок усунення перешкод.³¹ У середовищах, де стійки розсіюють 10-20 кВт тепла, підтримання оптимального повітряного потоку через організовану кабельну розводку стає критичною.³² Високощільні сервери ШІ можуть подвоїти споживання енергії стійки порівняно з традиційним обладнанням, що робить належну організацію кабелів ще більш критичною для термічного управління.³³

Рекомендації, специфічні для NVIDIA, стосуються вимог до стійок GPU. Переконайтеся, що стійки мають ширину для розміщення кабелів між комутаторами та бічними стінками стійки. Кабелі не повинні блокувати повітряний потік або перешкоджати витягуванню трансиверів/системних блоків. Прив'язуйте кабелі до конструкції стійки, щоб зняти навантаження та натяг з роз'ємів.³⁴

Вимоги до розділення запобігають перешкодам. Тримайте силові та інформаційні кабелі на відстані щонайменше 50 мм один від одного або використовуйте лотки з перегородками для запобігання електромагнітних перешкод.³⁵ Галузеві стандарти рекомендують розділяти інформаційні та силові кабелі щонайменше на 12 дюймів (30 см).³⁶

Дотримання радіуса згину захищає цілісність сигналу. Дотримуйтесь специфікацій виробника: зазвичай чотири діаметри для Cat 6 та десять для волокна, щоб запобігти втратам сигналу.³⁷ Варіанти волокна, нечутливого до згинів, зменшують обмеження, але специфікації на рівні кабелю (а не волокна) залишаються практичним обмеженням у пучках високої щільності.

Підходи до кріплення впливають на зручність обслуговування. Використовуйте стрічки на липучках замість кабельних стяжок для захисту оболонок кабелів та забезпечення легкого перенаправлення.³⁸ Залишайте щонайменше 75 мм зазору перед повітрозабірниками обладнання та прокладайте кабелі горизонтально, щоб не блокувати вентилятори.³⁹

Видалення мертвих кабелів запобігає перевантаженню. Залишення невикористаних кабелів на місці зазвичай спричиняє перевантаження стійки, зменшуючи повітряний потік, погіршуючи продуктивність пристроїв та ускладнюючи усунення несправностей.⁴⁰ Регулярний аудит кабелів виявляє та видаляє покинуту інфраструктуру.

Варіанти апаратного забезпечення інфраструктури

Апаратне забезпечення для керування кабелями варіюється від простих лотків до складних підвісних систем, що відповідають різним вимогам розгортання.

Драбинні кабельні лотки мають структури, подібні до сходів, що сприяють циркуляції повітря та відведенню тепла, підтримуючи важкі кабелі.⁴¹ Відкрита конструкція дозволяє візуальний огляд та відведення тепла, що робить драбинні лотки популярними для горизонтальних трас над рядами стійок.

Лотки жолобного типу пропонують закриті конструкції, що захищають кабелі від вологи та сміття.⁴² Суцільна конструкція підходить для середовищ, де фізичний захист важливіший за відведення тепла.

Продукти лоткового типу забезпечують плоскі поверхні для укладання кабелів, сприяючи організованим установкам.⁴³ Проста конструкція підходить для різних розмірів кабелів та дозволяє легко додавати нові.

Вибір матеріалу залежить від середовища та навантаження. Алюмінієві лотки пропонують легку вагу, стійкість до корозії та легкість встановлення — характеристики, ідеальні для середовищ, чутливих до ваги.⁴⁴ Сталеві лотки забезпечують вищу міцність та довговічність для важких кабельних навантажень та надійних застосувань.⁴⁵

Вертикальні органайзери Zero-U максимізують простір для обладнання. Вертикальне керування кабелями, встановлене ззаду в просторі zero-U між рейками стійки та бічними панелями, звільняє передні позиції для обладнання.⁴⁶ Такий підхід підходить для розгортань високої щільності, де кожна одиниця стійки має значення.

Кабель-канали ефективно справляються з вертикальною організацією кабелів, особливо в серверних стійках високої щільності, де вертикальні траси повинні залишатися організованими та доступними.⁴⁷

Стандарти та специфікації

Галузеві стандарти керують проектуванням систем керування кабелями для відповідності вимогам продуктивності та безпеки.

TIA-942-C затверджено в травні 2024 року, він враховує вищу щільність стійок, зумовлену робочими навантаженнями ШІ, та визнає нові типи багатомодового волокна.⁴⁸ Стандарт забезпечує основу для проектування кабельної інфраструктури центрів обробки даних.

Ethernet категорії 8 підтримує до 40 Гбіт/с на коротких відстанях, що робить його ідеальним для сучасних стійок високої щільності, де мідні з'єднання залишаються доречними.⁴⁹ Cat 8 підходить для з'єднань сервер-ToR всередині стійок.

Широкосмугове багатомодове волокно OM5 підтримує кілька довжин хвиль та забезпечує покращену продуктивність для оптичних мереж наступного покоління.⁵⁰ Цей тип волокна підтримує мультиплексування з поділом за довжиною хвилі для збільшення ємності існуючої багатомодової інфраструктури.

Рекомендації щодо коефіцієнта заповнення запобігають перевантаженню магістралей. Кабельні лотки, розраховані на 50% заповнення, залишають місце для відведення тепла та майбутніх доповнень.⁵¹ Переповнені магістралі перешкоджають охолодженню та ускладнюють переміщення, додавання та зміни.

Планування зростання пропускної здатності

Інфраструктура керування кабелями повинна враховувати прогнози зростання пропускної здатності на 50-75% щорічно, зумовлене поширенням ШІ.⁵² Проекти, що враховують лише поточні вимоги, найближчим часом застаріють.

Запас за кількістю волокон дозволяє оновлювати трансивери. Магістралі MPO/MTP з великою кількістю волокон та модульні патч-панелі дозволяють адаптуватися до нових технологій трансиверів через заміну касет та патч-кордів, а не через реконструкцію магістралей.