Фізична інфраструктура для GPU потужністю 1200 Вт: вимоги до електроживлення, охолодження та конструкції стійок
Оновлено 8 грудня 2025 року
Стрибок споживання потужності GPU з 700 Вт до 1200 Вт — це більше ніж 70% збільшення. Він докорінно руйнує всі припущення, що визначали проєктування дата-центрів протягом останнього десятиліття, вимагаючи інфраструктури, яка більше нагадує промислові виробничі об'єкти, ніж традиційні IT-середовища.¹ NVIDIA B200 та GB300 Blackwell Ultra тепер потребують 1200-1400 Вт на чіп, тоді як майбутня платформа Vera Rubin висуватиме ще вищі вимоги.² Організації, що будують інфраструктуру сьогодні, мають готуватися до GPU, які генерують тепло, еквівалентне побутовому обігрівачу, важать 30 кілограмів з системою охолодження та потребують систем електроживлення, запозичених зі станцій зарядки електромобілів.
Оновлення грудня 2025 року: Ера GPU потужністю 1200 Вт настала. Системи GB200 (1200 Вт на Superchip) постачалися протягом 2025 року, а GB300 Blackwell Ultra (1400 Вт) вже у виробництві. Тестові зразки платформи Vera Rubin від NVIDIA, що постачаються з вересня 2025 року, потребуватимуть до 600 кВт на стійку для конфігурацій NVL144 — це 5-кратне збільшення порівняно з поточними системами GB200 NVL72. Організації, що підготували інфраструктуру для 1200 Вт у 2024 році, тепер стикаються з реальністю: чіпи потужністю 2000+ Вт з'являться на горизонті 2027 року. Інфраструктурні рішення, задокументовані тут, залишаються фундаментальними, але перспективні розгортання повинні планувати значно вищу щільність потужності.
Інфраструктурна проблема примножується при масштабуванні. Одна стійка з вісьмома GPU по 1200 Вт споживає 10 кВт лише на обчислення, але допоміжне обладнання підвищує загальне споживання до 15-18 кВт на стійку.³ Останні проєкти дата-центрів Microsoft вже розраховані на чіпи потужністю 1200 Вт, а об'єкти більше схожі на алюмінієві заводи, ніж на серверні приміщення.⁴ Підготовка потребує 18-24 місяців для модернізації електросистем, встановлення систем охолодження та структурного посилення, що коштує $5-8 мільйонів на мегават до придбання хоча б одного GPU.
Ранні користувачі отримують болючі уроки щодо недооцінки інфраструктурних вимог. Cerebras розгорнула свої 23-кіловатні пластинчасті процесори, вважаючи живлення головною проблемою, але виявила, що вібрація від насосів охолодження спричиняла відмови чіпів.⁵ Суперкомп'ютер Dojo від Tesla потребував повного перепроєктування об'єкта, коли чіпи потужністю 1000+ Вт перегрівалися, незважаючи на здавалося б достатню потужність охолодження.⁶ Кожна організація, що розгортає GPU наступного покоління, виявляє нові режими відмов, які потребують дорогих доробок, що робить належну підготовку критичною для уникнення багатомільйонних помилок.
Архітектура електроживлення виходить на нову територію
Традиційний розподіл потужності 208 В стає фізично неможливим при навантаженнях 1200 Вт. Подача 1200 Вт при 208 В потребує 5,8 ампер на фазу при трифазному живленні, але з урахуванням 80% зниження номіналу згідно з електротехнічними нормами — це 7,2-амперні кола.⁷ Струм потребував би кабелів 6 AWG завтовшки з великий палець для кожного GPU, створюючи джгути кабелів, які фізично не поміщаються в стандартні стійки. Сама мідь коштувала б $500 на GPU лише в сировині до робіт зі встановлення.
Розподіл потужності 480 В постає як єдине життєздатне рішення для чіпів потужністю 1200 Вт. При трифазному живленні 480 В для 1200 Вт потрібно лише 1,5 ампер на фазу, що можна забезпечити проводкою 12 AWG.⁸ Європейські дата-центри отримують перевагу завдяки стандартному розподілу 400 В, що пояснює, чому багато гіперскейлерів надають пріоритет північним розгортанням для інфраструктури наступного покоління. Північноамериканські об'єкти потребують модернізації трансформаторів з розподілу 208 В на 480 В, додаючи $500 000 на мегават у перетворювальному обладнанні.⁹
Розподіл постійного струму усуває численні втрати на перетворення, що переслідують системи змінного струму. Традиційне перетворення змінного струму в постійний витрачає 8-10% потужності через втрати в трансформаторах і випрямлячах.¹⁰ Дата-центри Google демонструють, що розподіл 380 В постійного струму досягає 99% ефективності від мережі до чіпа.¹¹ Для GPU потужністю 1200 Вт розподіл постійного струму економить 120 Вт на чіп лише на втратах перетворення. Зекономлена потужність дорівнює вимогам до охолодження тепла від перетворення, примножуючи переваги ефективності.
Конструкції блоків живлення еволюціонують у складні системи управління потужністю. Звичайні БЖ обмежені 2000 Вт з ефективністю 80 Plus Titanium 94%.¹² Підтримка восьми GPU по 1200 Вт потребує кількох БЖ потужністю 3000+ Вт з резервуванням N+1. Delta Electronics розробила 4000-ватні силові полиці спеціально для високощільних розгортань GPU, використовуючи GaN-транзистори для досягнення 97% ефективності.¹³ Кожна силова полиця коштує $15 000, але економить $50 000 щорічно на електроенергії при безперервній роботі.
Управління перехідними процесами стає критичним, оскільки GPU переходять від простою до повного навантаження за мікросекунди. GPU потужністю 1200 Вт, що переходить з 200 Вт простою до повної потужності, створює стрибкові навантаження 1000 Вт, які дестабілізують електромережі.¹⁴ Конденсаторні батареї згладжують ці переходи, але потребують ретельного розрахунку: занадто малі — і просадки напруги виводять системи з ладу, занадто великі — і витрати невиправдано зростають. Сучасна система живлення GPU включає масиви конденсаторів на 50 000 мікрофарад, що коштують $5 000 на стійку, але запобігають відмовам, спричиненим живленням.
Охолодження 1200 Вт потребує рідини, без варіантів
Повітряне охолодження стає термодинамічно неможливим для GPU потужністю 1200 Вт незалежно від інженерної креативності. Відведення 1200 Вт тепла повітрям потребує 400 CFM при підвищенні температури на 30°F.¹⁵ Вісім GPU потребують 3 200 CFM, створюючи вітри швидкістю 100+ миль/год у серверних стійках. Лише потужність вентиляторів споживала б 500 Вт, додаючи ще більше тепла для відведення. Навіть якби такий потік повітря був досяжний, рівень шуму перевищив би 110 дБА, спричиняючи незворотне пошкодження слуху за лічені хвилини.¹⁶
Пряме рідинне охолодження холодних пластин стає мінімальним життєздатним рішенням. Direct Liquid Cooling від CoolIT Systems справляється з 1500 Вт на GPU, використовуючи спеціалізовані холодні пластини з мікроканалами, меншими за людську волосину.¹⁷ Система підтримує температуру чіпів нижче 80°C, використовуючи воду з температурою на вході 30°C при швидкості потоку 2 літри на хвилину. Інженерія більше нагадує Формулу-1, ніж традиційні IT, з допусками, виміряними в мікрометрах, і термічним опором у частках градусів Цельсія на ват.
Імерсійне охолодження пропонує найкраще відведення тепла для розгортань екстремальної щільності. SmartPodX від Submer справляється зі 100 кВт на 60 квадратних футах, використовуючи занурення в діелектричну рідину.¹⁸ Відсутність повітря усуває гарячі точки та температурні градієнти, що переслідують повітряне охолодження та охолодження холодними пластинами. GRC повідомляє, що GPU потужністю 1200 Вт працюють на 15°C холодніше в імерсії, ніж з прямим рідинним охолодженням.¹⁹ Технологія потребує повного перепроєктування інфраструктури, але забезпечує щільності, неможливі з іншими підходами.
Двофазне охолодження використовує фізику фазового переходу для максимального відведення тепла. Рідини Novec від 3M кипить при 50°C, з випаровуванням, що поглинає в 10 разів більше тепла, ніж однофазна рідина.²⁰ Intel продемонстрував двофазне охолодження, що відводить 2000 Вт від експериментальних чіпів, підтримуючи температуру переходу 60°C.²¹ Технологія залишається експериментальною для GPU, але представляє ймовірну еволюцію для майбутніх чіпів потужністю 1500+ Вт. Ранні користувачі повинні проєктувати об'єкти з можливістю переходу на двофазне охолодження.
Інфраструктура відведення тепла масштабується пропорційно потужності GPU. Об'єкт на 10 МВт з GPU потужністю 1200 Вт генерує тепло, еквівалентне 2 500 будинкам взимку.²² Градирні повинні справлятися з 35 000 галонів конденсаторної води на хвилину. Сухі охолоджувачі для регіонів з дефіцитом води потребують на 50% більше потужності та споживають на 20% більше енергії. Інфраструктура виходить далеко за межі серверних приміщень у промислові механічні системи вартістю $2-3 мільйони на мегават.
Будівельне проєктування стикається з масивними навантаженнями
Вага GPU драматично зростає з інтегрованими системами охолодження. Голий GPU потужністю 1200 Вт важить 5 кг, але додавання холодних пластин, колекторів і теплоносія доводить загальну вагу до 15 кг на GPU.²³ Сервери на вісім GPU наближаються до 200 кг у повній комплектації, перевищуючи більшість рейтингів фальшпідлог у 150 кг на квадратний метр. Концентрація ваги створює точкові навантаження, що з часом тріскають бетон і деформують сталеві опори.
Вібрація від систем охолодження створює несподівані будівельні виклики. Насоси високого потоку для рідинного охолодження генерують вібрації на частотах 50-120 Гц, що резонують з будівельними конструкціями.²⁴ Cerebras виявила, що вібрації насосів спричиняли помилки пам'яті GPU через механічне напруження на паяних з'єднаннях.²⁵ Ізоляційне кріплення стає обов'язковим, використовуючи пружинно-демпферні системи, що додають $10 000 на стійку, але запобігають відмовам, викликаним вібрацією.
Сейсмічні фактори примножуються для важкої інфраструктури GPU. Будівельні норми Каліфорнії вимагають кріплення для обладнання, що перевищує 400 фунтів, але стійки з GPU потужністю 1200 Вт наближаються до 2 000 фунтів у повному завантаженні.²⁶ Сейсмічне кріплення повинно витримувати горизонтальне прискорення 1,5g без перекидання. Системи кріплення коштують $5 000 на стійку та потребують структурного аналізу для забезпечення того, що плити підлоги можуть витримати навантаження. Дата-центри Японії використовують системи базової ізоляції, що дозволяють 30 см горизонтального переміщення під час землетрусів.
Розподіл рідини додає гідростатичні навантаження, рідко враховані в проєктуванні дата-центрів. Контури охолодження для GPU потужністю 1200 Вт містять 500+ літрів теплоносія на стійку, що важить 500 кг понад вагу обладнання.²⁷ Трубопроводи повинні підтримувати цю вагу плюс динамічні сили від потоків 20+ літрів на хвилину. Катастрофічний витік вивільняє достатньо рідини, щоб затопити цілі поверхи дата-центру. Системи вторинного утримання стають обов'язковими, додаючи 20% до витрат на будівництво, але запобігаючи екологічним катастрофам.
Фальшпідлога потребує повного перепроєктування для інфраструктури на 1200 Вт. Традиційні фальшпідлоги висотою 2 фути не можуть підтримувати вагу обладнання або вміщувати необхідну кабельну та трубну розводку. Сучасні розгортання на 1200 Вт використовують фальшпідлоги висотою 4 фути зі сталевими решітками замість плиток.²⁸ Глибший простір вміщує охолоджувальні труби діаметром 12 дюймів та масивні джгути кабелів. Витрати на будівництво зростають на 40%, але забезпечують необхідний простір для інфраструктури та несучу здатність.
Мережева та кабельна інфраструктура масштабується відповідно
Кожен GPU потужністю 1200 Вт потребує кількох високошвидкісних мережевих з'єднань, щоб не стати обчислювальними островами. NVIDIA B200 підтримує вісім портів 400GbE на GPU для сукупної пропускної здатності 3,2 Тб/с.²⁹ Вісім GPU потребують 64 мережевих кабелі плюс резервування, створюючи джгути кабелів діаметром 8 дюймів. Самі кабелі важать 200 кг на стійку та коштують $50 000 у високошвидкісних DAC-кабелях або $100 000 за активні оптичні кабелі.
Силова кабельна розводка стає значним інфраструктурним викликом. Кожен GPU потужністю 1200 Вт потребує виділених ліній живлення для запобігання каскадним відмовам. Використання 480 В зменшує перетин кабелю, але вимоги безпеки передбачають індивідуальний захист кола. Стійка з вісьмома GPU потребує 24 силових кабелі (трифазне для кожного GPU) плюс заземлення та нейтральні провідники. Системи кабельних лотків повинні підтримувати 100 кг на метр ваги кабелю, зберігаючи належне розділення між силовими та інформаційними кабелями.
Оптична інфраструктура стає обов'язковою для вимог пропускної здатності. Мідні кабелі не можуть підтримувати 400GbE на відстані понад 3 метри, змушуючи використовувати оптичні з'єднання для будь-якої значущої топології.³⁰ Кожен оптичний трансивер споживає 15 Вт та коштує $3 000, додаючи 1 кВт потужності та $200 000 у трансиверах для повністю з'єднаної системи на вісім GPU. Оптична інфраструктура потребує спеціалізованих інструментів для очищення, тестового обладнання та експертизи, якої багатьом організаціям бракує.
Кабельний менеджмент впливає на ефективність охолодження більше, ніж більшість усвідомлює. Погана прокладка кабелів обмежує повітряний потік у гібридних повітряно-рідинних системах, створюючи гарячі точки, що викликають температурне тротлінг. Належний кабельний менеджмент підтримує 40% відкритої площі для повітряного потоку, організовуючи кабелі для доступу під час обслуговування.³¹ Системи структурованої кабельної розводки використовують заздалегідь відміряні довжини та визначені маршрути прокладки, але потребують у 2-3 рази більше часу на встановлення. Інвестиція окупається через скорочення часу обслуговування та покращену ефективність охолодження.
Мережі управління потребують відділення від шляхів даних для запобігання виснаженню площини управління. Кожен GPU потужністю 1200 Вт потребує підключення IPMI/Redfish для позасмугового управління, що вимагає додаткових мережевих комутаторів і кабельної розводки.³² Моніторинг навколишнього середовища додає сотні датчиків на стійку для температури, вологості, тиску та виявлення витоків. Інфраструктура управління генерує гігабіти телеметрії, що
[Вміст скорочено для перекладу]
