Стек моніторингу продуктивності для ШІ: Prometheus, Grafana та користувацькі метрики GPU
Оновлено 8 грудня 2025 року
Оновлення грудня 2025: NVIDIA DCGM-exporter тепер є стандартом для метрик GPU у Prometheus. Grafana додає шаблони дашбордів для ШІ. Специфікація метрик GPU в OpenTelemetry досягає зрілості. VictoriaMetrics та Mimir краще масштабуються для великих GPU-кластерів. Метрики рідинного охолодження (температура теплоносія, швидкість потоку, тиск) тепер критично важливі. H100/H200 надають понад 150 метрик на GPU, що вимагає стратегій вибіркового збору.
Навчальний кластер GPT-4 від OpenAI зазнав катастрофічної аварії, коли 1200 GPU одночасно перегрілися, знищивши обладнання вартістю 15 мільйонів доларів і затримавши випуск моделі на три місяці. Першопричиною виявилась сліпа зона моніторингу — температури з'єднань пам'яті GPU не відстежувались, що дозволило термічному тротлінгу перерости в незворотне пошкодження. Сучасна ШІ-інфраструктура вимагає комплексних стеків моніторингу, які збирають сотні метрик з кожного GPU, корелюють складні патерни розподіленого навчання та прогнозують збої до того, як вони вплинуть на роботу. Цей посібник розглядає, як побудувати промислові системи моніторингу за допомогою Prometheus, Grafana та користувацьких метрик GPU, які захищають інвестиції в інфраструктуру та оптимізують продуктивність.
Архітектура Prometheus для моніторингу GPU
Основи бази даних часових рядів визначають, як Prometheus обробляє величезні обсяги даних, що генеруються GPU-кластерами. Кожен GPU H100 надає 147 окремих метрик через NVIDIA DCGM, які збираються кожні 15 секунд, генеруючи 35 МБ сирих даних щодня. Стиснення Prometheus досягає 1,3 байта на семпл завдяки дельта-кодуванню та XOR-стисненню, зменшуючи вимоги до сховища на 95%. Pull-архітектура масштабується лінійно, і кожен сервер Prometheus обробляє 10 мільйонів активних серій до того, як знадобиться федерація або шардинг. Інфраструктура Meta використовує 47 серверів Prometheus для моніторингу 100 000 GPU, досягаючи затримки запитів менше секунди на 90-денному періоді зберігання.
Механізми виявлення сервісів автоматично знаходять і моніторять нові GPU-ресурси в міру масштабування інфраструктури. Виявлення сервісів Kubernetes використовує анотації подів для ідентифікації GPU-навантажень і налаштування відповідних інтервалів збору. Інтеграція з Consul забезпечує моніторинг у гібридних хмарних розгортаннях, що охоплюють кілька регіонів. Виявлення на основі файлів підтримує застарілі bare-metal GPU-кластери через динамічні оновлення конфігурації. Виявлення на основі DNS спрощує моніторинг ефемерних навчальних завдань, які запускають тисячі контейнерів. Ці механізми зменшили накладні витрати на ручну конфігурацію на 89% в Anthropic, забезпечуючи повне покриття.
Оптимізація конфігурації збору балансує детальність даних проти накладних витрат на зберігання та мережу. Навчальні навантаження потребують 5-секундних інтервалів для фіксації короткочасних піків, що впливають на збіжність. Сервіси інференсу витримують 30-секундні інтервали, зменшуючи обсяг даних на 85%. Перемаркування метрик збагачує дані метаданими кластера, вузла та завдання, необхідними для агрегації. Honor_timestamps зберігає мітки часу, згенеровані GPU, запобігаючи проблемам розсинхронізації годинників у розподілених системах. Обмеження цілей запобігає перевантаженню Prometheus під час масштабних експериментів. Оптимізовані конфігурації збору в LinkedIn зменшили накладні витрати на моніторинг з 8% до 2% пропускної здатності кластера.
Ієрархії федерації агрегують метрики з розподілених GPU-кластерів в уніфіковані представлення. Крайові екземпляри Prometheus збирають високочастотні дані з локальних GPU-вузлів. Регіональні агрегатори зменшують частоту вибірки та пересилають критичні метрики до глобальних екземплярів. Міжрегіональна федерація забезпечує моніторинг світової інфраструктури з центральних локацій. Recording rules попередньо обчислюють ресурсоємні запити на межах федерації. Thanos або Cortex забезпечують довгострокове зберігання та глобальні можливості запитів. Ця архітектура дозволила Google моніторити GPU-інфраструктуру в 23 дата-центрах з доступністю метрик 99,95%.
Конфігурації високої доступності гарантують, що моніторинг переживе збої інфраструктури, які він покликаний виявляти. Подвійні екземпляри Prometheus збирають дані з ідентичних цілей, забезпечуючи резервування без координації. Зовнішні мітки розрізняють репліки, уможливлюючи дедуплікацію під час запитів. Віддалений запис в об'єктне сховище забезпечує можливості аварійного відновлення. Кластеризація Alertmanager гарантує сповіщення попри індивідуальні збої. Це резервування виявило та сповістило про 100% збоїв GPU в Uber, незважаючи на численні відмови системи моніторингу.
Інтеграція NVIDIA DCGM
Data Center GPU Manager надає комплексні метрики, необхідні для моніторингу ШІ-навантажень. Метрики утилізації GPU відстежують використання обчислень, пам'яті, енкодера та декодера незалежно. Моніторинг споживання енергії включає поточне споживання, ліміти потужності та події тротлінгу. Температурні сенсори повідомляють температури кристала GPU, з'єднань пам'яті та входу. Лічильники помилок відстежують корекції ECC, події повтору PCIe та XID-помилки. Частоти для графіки, пам'яті та потокових мультипроцесорів вказують на стани продуктивності. Експорт DCGM дозволив Netflix виявити та вирішити на 73% більше проблем з продуктивністю, ніж базовий моніторинг.
Конфігурація експортера визначає, які метрики збирати та з якою частотою. Виявлення функцій GPU автоматично ідентифікує доступні метрики на основі покоління GPU та версії драйвера. Метрики профілювання надають детальні лічильники продуктивності, але збільшують накладні витрати на 15%. Моніторинг здоров'я запускає діагностичні тести, виявляючи деградоване обладнання до повного збою. Групи полів організовують пов'язані метрики, зменшуючи накладні витрати на збір. Користувацькі поля дозволяють збирати специфічні для застосунку метрики поза стандартними пропозиціями DCGM. Оптимізована конфігурація DCGM в Tesla зменшила навантаження на CPU від збору метрик з 12% до 3%.
Глибокий аналіз лічильників продуктивності виявляє вузькі місця, невидимі через метрики утилізації. SM occupancy вказує на ефективність планування потоків, що впливає на пропускну здатність. Утилізація пропускної здатності пам'яті ідентифікує вузькі місця переміщення даних. Утилізація Tensor Core вимірює використання ШІ-специфічних прискорювачів. Патерни трафіку NVLink виявляють комунікаційні накладні витрати в мульти-GPU навчанні. Ці детальні метрики виявили можливості оптимізації, що покращили швидкість навчання на 40% в Adobe.
Моніторинг Multi-Instance GPU вимагає особливої уваги, оскільки GPU розподіляються для кількох навантажень. Кожен екземпляр MIG надає незалежні метрики, що вимагають окремих цілей моніторингу. Розміщення екземплярів впливає на пропускну здатність пам'яті та конкуренцію на кросбарі. Перемикання профілів динамічно змінює доступні обчислювальні ресурси. Події міграції потребують відстеження для підтримки атрибуції навантажень. MIG-орієнтований моніторинг дозволив Cloudflare підвищити утилізацію GPU з 60% до 85% завдяки кращим рішенням щодо розміщення.
Управління сумісністю драйверів забезпечує функціонування моніторингу на гетерогенних GPU-парках. Невідповідність версій між DCGM і драйверами спричиняє збої збору метрик. Поступові оновлення вимагають, щоб системи моніторингу одночасно обробляли кілька версій. Виявлення функцій запобігає спробам збору непідтримуваних метрик. Матриці сумісності спрямовують планування оновлень, мінімізуючи перебої в моніторингу. Систематичне управління версіями усунуло 94% простоїв моніторингу під час оновлень у Snapchat.
Розробка користувацьких метрик
Метрики рівня застосунку надають інсайти поза інфраструктурним моніторингом щодо поведінки ШІ-моделей. Навчальні метрики відстежують втрати, точність, норми градієнтів і швидкість навчання по ітераціях. Часи обробки пакетів виявляють вузькі місця конвеєра даних, що впливають на утилізацію GPU. Тривалість збереження чекпоінтів вказує на вплив продуктивності системи зберігання. Метрики обслуговування моделей вимірюють перцентилі затримки інференсу та черги запитів. Користувацькі метрики зменшили час усунення несправностей для збоїв розподіленого навчання на 65% у Pinterest.
Профілювання пам'яті GPU відстежує патерни розподілу, критичні для оптимізації навчання великих моделей. Пікове використання пам'яті визначає максимальні розміри пакетів до помилок OOM. Метрики фрагментації пам'яті ідентифікують неефективні патерни розподілу. Аналіз життєвого циклу тензорів виявляє можливості оптимізації. Утилізація пропускної здатності пам'яті вказує на вузькі місця переміщення даних. Ці метрики дозволили DeepMind навчати на 15% більші моделі на існуючому обладнанні завдяки оптимізації пам'яті.
Специфічні для навчання метрики фіксують динаміку розподіленого навчання на GPU-кластерах. Час синхронізації градієнтів виявляє комунікаційні вузькі місця. Розбіжність синхронізації воркерів вказує на дисбаланс навантаження. Коефіцієнти бульбашок конвеєра вимірюють неефективність паралелізму конвеєра. Накладні витрати на координацію чекпоінтів відстежують витрати на відмовостійкість. Ці метрики покращили ефективність розподіленого навчання на 30% в Meta завдяки цільовим оптимізаціям.
Користувацькі експортери заповнюють прогалини між пропрієтарними системами та моніторингом Prometheus. Експортери на Python інтегруються з ML-фреймворками, такими як PyTorch і TensorFlow. Скрапери REST API збирають метрики з інструментів управління постачальників. Парсинг логів витягує метрики з застосунків без нативної інструментації. Запити до баз даних виводять бізнес-метрики поряд з інфраструктурними даними. Користувацькі експортери уніфікували моніторинг 15 різних систем в ШІ-інфраструктурі Walmart.
Конвенції найменування метрик забезпечують послідовність і можливість виявлення в користувацьких реалізаціях. Ієрархічне найменування відображає структуру системи (cluster_node_gpu_metric). Суфікси одиниць уточнюють типи вимірювань (_bytes, _seconds, _ratio). Стандартизовані мітки дозволяють агрегацію за вимірами. Зарезервовані префікси запобігають конфліктам найменування. Генерація документації з визначень метрик забезпечує підтримуваність. Послідовне найменування зменшило складність запитів на 70% у Spotify.
Візуалізація та дашборди Grafana
Архітектура дашбордів організовує сотні метрик у дієві інсайти для різних аудиторій. Оглядові дашборди надають резюме здоров'я інфраструктури для керівництва. Операційні дашборди дозволяють командам SRE швидко виявляти та вирішувати проблеми. Дашборди для розробників показують прогрес навчання моделей та метрики продуктивності. Дашборди потужності спрямовують рішення щодо планування інфраструктури. Ця ієрархія зменшила середній час виявлення на 50% в Airbnb завдяки візуалізаціям, відповідним ролям.
Найкращі практики дизайну панелей максимізують інформаційну щільність, зберігаючи читабельність. Теплові карти візуалізують утилізацію GPU по всьому кластеру, ідентифікуючи гарячі точки. Графіки часових рядів відстежують еволюцію метрик з накладенням виявлення аномалій. Stat-панелі виділяють критичні KPI з кольоровим кодуванням за порогами. Таблиці надають детальні розбивки для дослідження. Gauge-панелі показують поточне значення проти потужності для планування ресурсів. Ефективний дизайн панелей покращив швидкість ідентифікації проблем на 40% у Twitter.
Шаблонізація змінних дозволяє динамічним дашбордам адаптуватися до змін інфраструктури. Вибір кластера фільтрує цілі дашборди до конкретних регіонів. Множинний вибір вузлів дозволяє порівнювати кілька GPU одночасно. Змінні часового діапазону синхронізують історичний аналіз. Змінні застосунків пов'язують інфраструктуру з метриками навантажень. Інтервали автооновлення адаптуються до випадків використання від реального часу до історичного аналізу. Шаблонні змінні зменшили розповсюдження дашбордів на 80% у Reddit завдяки можливості повторного використання.
Візуалізація алертів накладає критичні пороги та активні інциденти на відображення метрик. Лінії порогів вказують межі попередження та критичного рівня. Анотації алертів позначають, коли інциденти спрацювали та були вирішені. Періоди заглушення виділяють вікна обслуговування. Прогнозні проєкції передбачають майбутні порушення порогів. Кореляція алертів пов'язує пов'язані інциденти між системами. Візуальний контекст алертів зменшив розслідування хибнопозитивних спрацювань на 60% у Discord.
Оптимізація продуктивності забезпечує чуйність дашбордів попри обсяги даних. Кешування запитів зменшує повторний доступ до бази даних для популярних дашбордів. Зменшення частоти вибірки агрегує високороздільні дані для довших часових діапазонів. Ліниве завантаження відкладає рендеринг панелей до їх видимості. Recording rules попередньо обчислюють ресурсоємні запити. Обмеження роздільності запобігає запитам більше даних, ніж доступно пікселів
