Інфраструктура для навчання та інференсу: оптимізація для різних патернів робочих навантажень ШІ
Оновлено 8 грудня 2025 року
Оновлення грудня 2025: H200 (141 ГБ HBM3e) стає основною робочою конячкою для навчання, а Blackwell GB200 починає виробничі розгортання. Інференс переходить на L40S, L4 та AMD MI300X для економічної ефективності — MI300X тепер досягає паритету ціна-продуктивність з H100 для інференсу. Intel Gaudi 3 набирає популярності на IBM Cloud. Спекулятивне декодування та безперервна пакетна обробка (vLLM, TensorRT-LLM) трансформують економіку інференсу. Розрив між навчанням та інференсом зростає: навчання вимагає інтерконектів 800G+, тоді як інференс працює на звичайному Ethernet.
Інфраструктура навчання споживає мільйони доларів протягом місяців для створення моделі, тоді як інфраструктура інференсу обслуговує цю модель мільярди разів з мікросекундними затримками. Один цикл навчання GPT-4 коштує 100 мільйонів доларів і вимагає 25 000 GPU A100, що працюють протягом 90 днів. Обслуговування цієї моделі вимагає 128 000 GPU, розподілених глобально та оптимізованих для затримки, а не пропускної здатності. Ці принципово різні патерни робочих навантажень вимагають окремих підходів до інфраструктури, які організації часто плутають, що призводить до на 40% вищих витрат та на 60% нижчого використання.
Фундаментальні характеристики робочих навантажень
Робочі навантаження навчання демонструють масивний паралелізм з регулярними патернами синхронізації. Прямі проходи обробляють пакети з тисяч прикладів одночасно, обчислюючи градієнти, які синхронізуються між усіма GPU на кожній ітерації. Ця операція all-reduce вимагає агрегованої пропускної здатності понад 1,6 Тб/с для великих мовних моделей. Завдання навчання виконуються безперервно протягом тижнів або місяців, зберігаючи контрольні точки щогодини. Збої обладнання вимагають негайного виявлення та відновлення для запобігання марним обчисленням.
Робочі навантаження інференсу обробляють окремі запити з вимогами до затримки в мілісекундах. Розміри пакетів зазвичай варіюються від 1 до 32, обмежені вимогами до затримки, а не ємністю пам'яті. Патерни запитів слідують добовим циклам з 10-кратною варіацією між піком і спадом. Географічний розподіл забезпечує затримку менше 100 мс для глобальних користувачів. Збої обладнання негайно впливають на доступність сервісу, вимагаючи резервування та можливостей швидкого перемикання.
Патерни доступу до пам'яті драматично відрізняються між робочими навантаженнями. Навчання виконує регулярні, передбачувані звернення до пам'яті, оптимізовані для використання пропускної здатності. Великі розміри пакетів амортизують накладні витрати на передачу пам'яті на багатьох прикладах. Ваги моделі залишаються статичними, тоді як активації та градієнти проходять через ієрархії пам'яті. Інференс демонструє нерегулярні патерни доступу, залежні від вхідних послідовностей. Динамічна пакетна обробка та різна довжина послідовностей створюють непередбачувані вимоги до пам'яті. Кешування ключ-значення для transformer-моделей споживає гігабайти на запит.
Метрики використання обчислень виявляють фундаментальні відмінності. Навчання досягає 85-95% використання GPU через ретельне налаштування розміру пакетів та оптимізацію конвеєра даних. Пропускна здатність пам'яті стає вузьким місцем для великих моделей, оскільки обчислювальні блоки чекають на переміщення даних. Інференс рідко перевищує 40% використання через обмеження затримки та варіабельність запитів. Малі розміри пакетів недостатньо використовують можливості паралельної обробки. Накладні витрати на мережеву передачу та попередню обробку додатково знижують ефективне використання.
Патерни комунікації відрізняють розподілене навчання від обслуговування інференсу. Навчання вимагає комунікації all-to-all для синхронізації градієнтів, генеруючи постійний трафік 100 Гб/с між вузлами. Топологія мережі критично впливає на продуктивність навчання, при цьому будь-яке вузьке місце знижує загальну пропускну здатність. Комунікація інференсу залишається переважно клієнт-сервер з мінімальним міжвузловим трафіком, окрім обслуговування з паралелізмом моделі. Балансувальники навантаження розподіляють запити між вузлами інференсу незалежно.
Стратегії оптимізації обладнання
Вибір GPU суттєво відрізняється між розгортаннями для навчання та інференсу. Кластери навчання віддають перевагу GPU NVIDIA H100 з 80 ГБ пам'яті HBM3, що підтримує повну ємність моделі. Пропускна здатність пам'яті 3,35 ТБ/с забезпечує швидке обчислення градієнтів та оновлення параметрів. Інтерконекти NVLink з пропускною здатністю 900 ГБ/с між GPU прискорюють колективні операції. Організації інвестують $30 000 за H100 для інфраструктури навчання, приймаючи премію за максимальну продуктивність.
Розгортання інференсу все частіше використовують GPU NVIDIA L40S або L4, оптимізовані для економічної ефективності. L40S з 48 ГБ пам'яті обробляє більшість робочих навантажень інференсу за $15 000 за GPU. GPU L4 за $5 000 відмінно підходять для периферійних розгортань та менших моделей. GPU AMD MI210 забезпечують конкурентну продуктивність інференсу за 60% від цін NVIDIA. Прискорювачі Intel Gaudi2 досягають подібної пропускної здатності інференсу для transformer-моделей за $10 000 за одиницю. Ця різноманітність знижує витрати на інференс на 50% порівняно з обладнанням для навчання.
Оптимізація ієрархії пам'яті відрізняється між робочими навантаженнями. Навчання вимагає максимальної ємності HBM для одночасного зберігання параметрів моделі, станів оптимізатора та градієнтів. Модель з 70B параметрів вимагає 840 ГБ для навчання зі змішаною точністю, включаючи стани оптимізатора Adam. Інференс потребує лише ваг моделі та пам'яті активацій, вимагаючи 140 ГБ для тієї самої моделі. Це 6-кратне зменшення дозволяє розгортання на менших, дешевших GPU.
Вимоги до CPU варіюються залежно від потреб попередньої обробки. Кластери навчання виділяють 32 ядра CPU на GPU для завантаження даних, аугментації та попередньої обробки. Високопродуктивне сховище NVMe живить конвеєри навчання зі швидкістю 10 ГБ/с на вузол. Сервери інференсу вимагають менше ресурсів CPU, зазвичай 8-16 ядер на GPU, зосереджених на маршрутизації запитів та форматуванні відповідей. Периферійні розгортання інференсу можуть використовувати обслуговування лише на CPU для моделей до 7B параметрів.
Альтернативні прискорювачі надають економічно ефективні варіанти для конкретних робочих навантажень. Поди Google TPU v4 відмінно підходять для великомасштабного навчання з 4096 чіпами, що забезпечують 1,1 екзафлопс. Чіпи AWS Inferentia2 оптимізують інференс за $0,75 за мільйон токенів, на 70% дешевше ніж обслуговування на GPU. Системи Cerebras CS-2 прискорюють навчання для моделей, що вміщуються в межах 40 ГБ пам'яті. Ці спеціалізовані прискорювачі знижують витрати, коли патерни робочих навантажень відповідають їхнім проектним параметрам.
Вимоги до мережевої архітектури
Мережі для навчання вимагають максимальної пропускної здатності з мінімальною затримкою для колективних операцій. Розгортання InfiniBand з використанням комутаторів NDR 400 Гб/с забезпечують затримку менше 1 мікросекунди для операцій RDMA. Топології fat-tree гарантують неблокуючу комунікацію між будь-якою парою GPU. Оптимізовані rail-конструкції виділяють окремі мережеві шляхи для агрегації градієнтів та комунікації з сервером параметрів. Research SuperCluster від Meta використовує 4-rail InfiniBand, забезпечуючи 1,6 Тб/с агрегованої пропускної здатності на GPU.
Мережі інференсу пріоритезують географічний розподіл та периферійне підключення. Інтеграція з мережею доставки контенту (CDN) зменшує затримку для глобальних користувачів. Anycast-маршрутизація направляє запити до найближчих доступних кластерів інференсу. 100 Гб/с Ethernet достатньо для більшості розгортань інференсу, з RoCEv2 для RDMA за потреби. Балансувальники навантаження розподіляють запити між доступними GPU на основі поточного використання та часу відповіді.
Патерни трафіку схід-захід суттєво відрізняються. Навчання генерує 100 ТБ обміну градієнтами щоденно для навчання великих моделей. Операції all-reduce створюють гарячі точки, що вимагають ретельного проектування мережі. Трафік інференсу залишається переважно північ-південь між клієнтами та серверами. Обслуговування моделей генерує 1-10 ГБ/с трафіку відповідей на GPU залежно від частоти запитів та розмірів виводу.
Вимоги до мережевої стійкості відображають характеристики робочих навантажень. Мережі навчання толерують короткі перерви через механізми відновлення з контрольних точок. Тривалі відключення марнують дорогі обчислення, мотивуючи резервні мережеві шляхи. Мережі інференсу вимагають негайного перемикання для підтримки доступності сервісу. Час конвергенції BGP менше 1 секунди забезпечує мінімальний вплив на користувачів під час збоїв.
Міркування безпеки по-різному впливають на проектування мережі. Мережі навчання працюють у довірених середовищах, пріоритезуючи продуктивність над шифруванням. Контроль доступу до датасетів та захист контрольних точок моделі зосереджують зусилля з безпеки. Мережі інференсу стикаються з інтернет-експозицією, що вимагає TLS-шифрування, захисту від DDoS та автентифікації API. Брандмауери веб-застосунків фільтрують шкідливі запити до досягнення серверів інференсу.
Патерни проектування систем зберігання
Системи зберігання для навчання оптимізуються для постійної послідовної пропускної здатності. Паралельні файлові системи, такі як Lustre або GPFS, забезпечують 100 ГБ/с агрегованої пропускної здатності для потокового передавання датасетів. NVMe-oF (NVMe over Fabrics) доставляє шарди датасетів безпосередньо в пам'ять GPU. Розподілені шари кешування з використанням Alluxio або JuiceFS прискорюють повторну обробку епох. Інфраструктура навчання OpenAI досягає 1 ТБ/с агрегованої пропускної здатності сховища по їхніх кластерах.
Зберігання контрольних точок вимагає іншої оптимізації. Цикли навчання записують контрольні точки розміром 50-100 ТБ кожні 4 години для великих моделей. Системи об'єктного сховища, такі як MinIO або Ceph, обробляють записи контрольних точок без порушення пропускної здатності навчання. Кодування зі стиранням забезпечує відмовостійкість з 20% накладними витратами на зберігання порівняно з 200% для реплікації. Багаторівневе сховище переміщує старіші контрольні точки на дешевші носії, підтримуючи нещодавні контрольні точки на NVMe для швидкого відновлення.
Сховище інференсу зосереджується на швидкості завантаження моделі та кешуванні. Моделі завантажуються з об'єктного сховища при запуску контейнера інференсу, вимагаючи 10-30 секунд для моделей з 70B параметрів. Локальне кешування NVMe прискорює наступні завантаження моделі до менш ніж 2 секунд. Кеші ключ-значення для transformer-моделей зберігаються між запитами, вимагаючи 100 ГБ-1 ТБ високошвидкісного сховища на вузол інференсу. Redis або Apache Ignite забезпечують розподілене кешування для спільного контексту між серверами інференсу.
Версіонування датасетів та відстеження походження підтримують відтворюваність навчання. Data Version Control (DVC) або Delta Lake відстежують модифікації датасетів з часом. Сховища метаданих записують точні версії датасетів, використані для кожного циклу навчання. Сховища ознак, такі як Tecton або Feast, забезпечують узгоджені ознаки між навчанням та інференсом. Ці системи запобігають розбіжності навчання-обслуговування, що погіршує продуктивність моделі.
Стратегії багаторівневого зберігання відрізняються залежно від патернів доступу. Навчальні датасети мігрують через рівні NVMe → SSD → HDD → Glacier залежно від частоти доступу. Гарячі датасети залишаються на NVMe, забезпечуючи 7 ГБ/с на диск. Сховище інференсу підтримує моделі на NVMe безстроково через постійний доступ. Дані логування та метрик слідують традиційним патернам багаторівневості незалежно від робочих навантажень ШІ.
Стратегії та патерни масштабування
Горизонтальне масштабування для навчання вимагає ретельного врахування накладних витрат на комунікацію. Слабке масштабування підтримує постійний розмір пакета на GPU, збільшуючи глобальний розмір пакета з розміром кластера. Сильне масштабування ділить фіксований глобальний розмір пакета на більше GPU, покращуючи час навчання, але знижуючи ефективність. Лінійне масштабування досягає 90% ефективності до 512 GPU для більшості моделей. За цією межею накладні витрати на комунікацію домінують, знижуючи ефективність нижче 70%.
Паралелізм моделі дозволяє навчати моделі, що перевищують ємність пам'яті одного GPU. Pipeline-паралелізм розділяє моделі між GPU за шарами, досягаючи 80% ефективності при ретельному плануванні. Тензорний паралелізм ділить окремі шари між GPU, вимагаючи інтерконектів з високою пропускною здатністю. Експертний паралелізм для моделей Mixture-of-Experts масштабується до тисяч GPU. Ці техніки поєднуються в стратегіях 3D-паралелізму, причому GPT-4 використовує всі три виміри на 25 000 GPU.
Масштабування інференсу слідує патернам, керованим запитами. Горизонтальне автомасштабування подів у Kubernetes реагує на CPU, пам'ять або користувацькі метрики. Рішення про масштабування враховують штрафи холодного старту в 10-30 секунд для завантаження моделі. Предиктивне автомасштабування з використанням історичних патернів попередньо надає потужність для очікуваного попиту. Інтеграція spot-інстансів знижує витрати на 60% для відмовостійких робочих навантажень інференсу.
Стратегії географічного розподілу фундаментально відрізняються. Кластери навчання централізуються в одному місці
[Контент скорочено для перекладу]
