Performance-Monitoring-Stack für KI: Prometheus, Grafana und benutzerdefinierte GPU-Metriken
Aktualisiert am 8. Dezember 2025
Dezember 2025 Update: NVIDIA DCGM-exporter ist jetzt Standard für Prometheus GPU-Metriken. Grafana fügt KI-spezifische Dashboard-Vorlagen hinzu. Die OpenTelemetry GPU-Metriken-Spezifikation reift heran. VictoriaMetrics und Mimir skalieren besser für große GPU-Cluster. Flüssigkühlungsmetriken (Kühlmitteltemperatur, Durchflussrate, Druck) sind jetzt unverzichtbar. H100/H200 stellen über 150 Metriken pro GPU bereit, was selektive Erfassungsstrategien erfordert.
Der GPT-4-Trainingscluster von OpenAI erlitt einen katastrophalen Ausfall, als 1.200 GPUs gleichzeitig überhitzten, Hardware im Wert von 15 Millionen Dollar zerstörten und die Modellveröffentlichung um drei Monate verzögerten. Die Ursache wurde auf einen Überwachungsblindfleck zurückgeführt – GPU-Speicher-Junction-Temperaturen wurden nicht erfasst, was dazu führte, dass thermisches Throttling in permanente Schäden eskalierte. Moderne KI-Infrastruktur erfordert umfassende Monitoring-Stacks, die Hunderte von Metriken pro GPU erfassen, komplexe verteilte Trainingsmuster korrelieren und Ausfälle vorhersagen, bevor sie den Betrieb beeinträchtigen. Dieser Leitfaden untersucht, wie man produktionsreife Monitoring-Systeme mit Prometheus, Grafana und benutzerdefinierten GPU-Metriken aufbaut, die Infrastrukturinvestitionen schützen und gleichzeitig die Leistung optimieren.
Prometheus-Architektur für GPU-Monitoring
Die Grundlagen von Zeitreihendatenbanken bestimmen, wie Prometheus die enormen Datenmengen verarbeitet, die von GPU-Clustern erzeugt werden. Jede H100-GPU stellt 147 verschiedene Metriken über NVIDIA DCGM bereit, die alle 15 Sekunden abgetastet werden und täglich 35 MB Rohdaten erzeugen. Die Komprimierung von Prometheus erreicht 1,3 Bytes pro Sample durch Delta-Kodierung und XOR-Komprimierung, was den Speicherbedarf um 95 % reduziert. Die Pull-basierte Architektur skaliert linear, wobei jeder Prometheus-Server 10 Millionen aktive Serien verarbeiten kann, bevor Federation oder Sharding erforderlich wird. Die Infrastruktur von Meta betreibt 47 Prometheus-Server, die 100.000 GPUs überwachen und eine Abfragelatenz von unter einer Sekunde über 90 Tage Datenaufbewahrung erreichen.
Service-Discovery-Mechanismen erkennen und überwachen automatisch neue GPU-Ressourcen, wenn die Infrastruktur skaliert. Kubernetes Service Discovery verwendet Pod-Annotationen, um GPU-Workloads zu identifizieren und geeignete Scrape-Intervalle zu konfigurieren. Consul-Integration ermöglicht Monitoring über Hybrid-Cloud-Deployments hinweg, die mehrere Regionen umfassen. Dateibasierte Discovery unterstützt Legacy-Bare-Metal-GPU-Cluster durch dynamische Konfigurationsupdates. DNS-basierte Discovery vereinfacht das Monitoring kurzlebiger Trainingsjobs, die Tausende von Containern starten. Diese Mechanismen reduzierten den manuellen Konfigurationsaufwand bei Anthropic um 89 % bei gleichzeitiger vollständiger Abdeckung.
Die Optimierung der Scrape-Konfiguration balanciert Datengranularität gegen Speicher- und Netzwerk-Overhead. Trainings-Workloads erfordern 5-Sekunden-Intervalle, um transiente Spitzen zu erfassen, die die Konvergenz beeinflussen. Inference-Dienste tolerieren 30-Sekunden-Intervalle, was das Datenvolumen um 85 % reduziert. Metric Relabeling reichert Daten mit Cluster-, Node- und Job-Metadaten an, die für die Aggregation unerlässlich sind. Honor_timestamps bewahrt GPU-generierte Zeitstempel und verhindert Uhrenabweichungsprobleme in verteilten Systemen. Target Limiting verhindert die Überlastung von Prometheus während großangelegter Experimente. Die optimierten Scrape-Konfigurationen von LinkedIn reduzierten den Monitoring-Overhead von 8 % auf 2 % der Cluster-Bandbreite.
Federation-Hierarchien aggregieren Metriken von verteilten GPU-Clustern in einheitliche Ansichten. Edge-Prometheus-Instanzen sammeln hochfrequente Daten von lokalen GPU-Nodes. Regionale Aggregatoren führen Downsampling durch und leiten kritische Metriken an globale Instanzen weiter. Cross-Region Federation ermöglicht weltweites Infrastruktur-Monitoring von zentralen Standorten aus. Recording Rules berechnen aufwendige Abfragen an Federation-Grenzen vor. Thanos oder Cortex bieten Langzeitspeicherung und globale Abfragefähigkeiten. Diese Architektur ermöglichte es Google, GPU-Infrastruktur in 23 Rechenzentren mit 99,95 % Metrikverfügbarkeit zu überwachen.
Hochverfügbarkeitskonfigurationen stellen sicher, dass das Monitoring Infrastrukturausfälle überlebt, die es erkennen soll. Duale Prometheus-Instanzen scrapen identische Targets und bieten Redundanz ohne Koordination. Externe Labels unterscheiden Replikate und ermöglichen Deduplizierung bei Abfragen. Remote Write auf Object Storage bietet Disaster-Recovery-Fähigkeiten. Alertmanager-Clustering stellt sicher, dass Benachrichtigungen trotz einzelner Ausfälle zugestellt werden. Diese Redundanz erkannte und alarmierte bei Uber zu 100 % aller GPU-Ausfälle, trotz mehrerer Monitoring-System-Ausfälle.
NVIDIA DCGM-Integration
Der Data Center GPU Manager stellt umfassende Metriken bereit, die für das Monitoring von KI-Workloads unerlässlich sind. GPU-Auslastungsmetriken verfolgen Compute, Speicher, Encoder und Decoder unabhängig voneinander. Stromverbrauchsüberwachung umfasst aktuellen Stromverbrauch, Leistungsgrenzen und Throttling-Ereignisse. Temperatursensoren melden GPU-Die-, Speicher-Junction- und Einlasstemperaturen. Fehlerzähler verfolgen ECC-Korrekturen, PCIe-Replay-Ereignisse und XID-Fehler. Taktfrequenzen für Grafik, Speicher und Streaming-Multiprozessoren zeigen Leistungszustände an. DCGM-Exporte ermöglichten Netflix, 73 % mehr Leistungsprobleme zu identifizieren und zu beheben als mit einfachem Monitoring.
Die Exporter-Konfiguration bestimmt, welche Metriken mit welcher Frequenz erfasst werden. GPU Feature Discovery identifiziert automatisch verfügbare Metriken basierend auf GPU-Generation und Treiberversion. Profiling-Metriken liefern detaillierte Performance-Counter, erhöhen aber den Overhead um 15 %. Health Monitoring führt diagnostische Tests durch, die degradierte Hardware erkennen, bevor ein vollständiger Ausfall eintritt. Field Groups organisieren verwandte Metriken und reduzieren den Erfassungs-Overhead. Custom Fields ermöglichen anwendungsspezifische Metriken über die Standard-DCGM-Angebote hinaus. Optimierte DCGM-Konfiguration bei Tesla reduzierte den CPU-Overhead der Metrikerfassung von 12 % auf 3 %.
Tiefenanalysen von Performance-Countern enthüllen Engpässe, die durch Auslastungsmetriken allein unsichtbar sind. SM-Occupancy zeigt die Thread-Scheduling-Effizienz an, die den Durchsatz beeinflusst. Speicherbandbreitenauslastung identifiziert Datenbewegungsengpässe. Tensor-Core-Auslastung misst die KI-spezifische Beschleunigernutzung. NVLink-Traffic-Muster zeigen Kommunikations-Overhead beim Multi-GPU-Training. Diese detaillierten Metriken identifizierten Optimierungsmöglichkeiten, die die Trainingsgeschwindigkeit bei Adobe um 40 % verbesserten.
Multi-Instance-GPU-Monitoring erfordert besondere Berücksichtigung, da GPUs für mehrere Workloads partitioniert werden. Jede MIG-Instanz stellt unabhängige Metriken bereit, die separate Monitoring-Targets erfordern. Die Instanzplatzierung beeinflusst Speicherbandbreite und Crossbar-Contention. Profilwechsel ändern verfügbare Compute-Ressourcen dynamisch. Migrationsereignisse müssen verfolgt werden, um die Workload-Zuordnung aufrechtzuerhalten. MIG-bewusstes Monitoring ermöglichte Cloudflare, die GPU-Auslastung durch bessere Platzierungsentscheidungen von 60 % auf 85 % zu erhöhen.
Treiberkompatibilitätsmanagement stellt sicher, dass das Monitoring über heterogene GPU-Flotten hinweg funktioniert. Versionsinkompatibilitäten zwischen DCGM und Treibern verursachen Metrikerfassungsausfälle. Rolling Upgrades erfordern, dass Monitoring-Systeme mehrere Versionen gleichzeitig verarbeiten. Feature-Erkennung verhindert den Versuch, nicht unterstützte Metriken zu erfassen. Kompatibilitätsmatrizen leiten die Upgrade-Planung und minimieren Monitoring-Unterbrechungen. Systematisches Versionsmanagement eliminierte 94 % der Monitoring-Ausfälle während Upgrades bei Snapchat.
Entwicklung benutzerdefinierter Metriken
Metriken auf Anwendungsebene bieten Einblicke, die über das Infrastruktur-Monitoring hinausgehen und das Verhalten von KI-Modellen betreffen. Trainingsmetriken verfolgen Loss, Genauigkeit, Gradientennormen und Lernraten über Iterationen hinweg. Batch-Verarbeitungszeiten zeigen Datenpipeline-Engpässe auf, die die GPU-Auslastung beeinflussen. Checkpoint-Speicherdauern zeigen Auswirkungen der Speichersystemleistung. Model-Serving-Metriken messen Inferenzlatenz-Perzentile und Request-Queuing. Benutzerdefinierte Metriken reduzierten die Fehlerbehebungszeit bei verteilten Trainingsausfällen bei Pinterest um 65 %.
GPU-Speicher-Profiling verfolgt Allokationsmuster, die für die Optimierung des Trainings großer Modelle kritisch sind. Spitzenspeicherverbrauch bestimmt maximale Batch-Größen vor OOM-Fehlern. Speicherfragmentierungsmetriken identifizieren ineffiziente Allokationsmuster. Tensor-Lebensdaueranalyse enthüllt Optimierungsmöglichkeiten. Speicherbandbreitenauslastung zeigt Datenbewegungsengpässe. Diese Metriken ermöglichten DeepMind, durch Speicheroptimierung 15 % größere Modelle auf vorhandener Hardware zu trainieren.
Trainingsspezifische Metriken erfassen Dynamiken des verteilten Lernens über GPU-Cluster hinweg. Gradientensynchronisierungszeit zeigt Kommunikationsengpässe. Worker-Synchronisierungsversatz zeigt Lastungleichgewichte an. Pipeline-Bubble-Verhältnisse messen Ineffizienz bei Pipeline-Parallelismus. Checkpoint-Koordinations-Overhead verfolgt Resilienzkosten. Diese Metriken verbesserten die Effizienz des verteilten Trainings bei Meta durch gezielte Optimierungen um 30 %.
Benutzerdefinierte Exporter überbrücken Lücken zwischen proprietären Systemen und Prometheus-Monitoring. Python-basierte Exporter integrieren sich mit ML-Frameworks wie PyTorch und TensorFlow. REST-API-Scraper sammeln Metriken von Hersteller-Management-Tools. Log-Parsing extrahiert Metriken aus Anwendungen ohne native Instrumentierung. Datenbankabfragen liefern Geschäftsmetriken neben Infrastrukturdaten. Benutzerdefinierte Exporter vereinheitlichten das Monitoring über 15 verschiedene Systeme in Walmarts KI-Infrastruktur.
Metrik-Namenskonventionen gewährleisten Konsistenz und Auffindbarkeit über benutzerdefinierte Implementierungen hinweg. Hierarchische Benennung spiegelt die Systemstruktur wider (cluster_node_gpu_metric). Einheitensuffixe verdeutlichen Messtypen (_bytes, _seconds, _ratio). Standardisierte Labels ermöglichen Aggregation über Dimensionen hinweg. Reservierte Präfixe verhindern Namenskonflikte. Dokumentationsgenerierung aus Metrikdefinitionen gewährleistet Wartbarkeit. Konsistente Benennung reduzierte die Abfragekomplexität bei Spotify um 70 %.
Grafana-Visualisierung und Dashboards
Die Dashboard-Architektur organisiert Hunderte von Metriken in umsetzbare Erkenntnisse für verschiedene Zielgruppen. Übersichts-Dashboards bieten Zusammenfassungen zur Infrastrukturgesundheit auf Führungsebene. Operative Dashboards ermöglichen SRE-Teams, Probleme schnell zu identifizieren und zu beheben. Entwickler-Dashboards zeigen Modelltrainingsfortschritt und Leistungsmetriken. Kapazitäts-Dashboards leiten Infrastrukturplanungsentscheidungen. Diese Hierarchie reduzierte die mittlere Erkennungszeit bei Airbnb durch rollengerechte Visualisierungen um 50 %.
Best Practices für Panel-Design maximieren die Informationsdichte bei gleichzeitiger Lesbarkeit. Heatmaps visualisieren GPU-Auslastung über ganze Cluster und identifizieren Hot Spots. Zeitreihendiagramme verfolgen die Metrikentwicklung mit Anomalieerkennungs-Overlays. Stat-Panels heben kritische KPIs mit schwellenwertbasierter Färbung hervor. Tabellen bieten detaillierte Aufschlüsselungen für Untersuchungen. Gauge-Panels zeigen aktuellen Stand versus Kapazität für Ressourcenplanung. Effektives Panel-Design verbesserte die Geschwindigkeit der Problemidentifikation bei Twitter um 40 %.
Variable Templating ermöglicht dynamische Dashboards, die sich an Infrastrukturänderungen anpassen. Cluster-Auswahl filtert gesamte Dashboards auf bestimmte Regionen. Node-Mehrfachauswahl ermöglicht den gleichzeitigen Vergleich mehrerer GPUs. Zeitbereichsvariablen synchronisieren historische Analysen. Anwendungsvariablen verknüpfen Infrastruktur mit Workload-Metriken. Auto-Refresh-Intervalle passen sich an Anwendungsfälle von Echtzeit bis historischer Analyse an. Template-Variablen reduzierten die Dashboard-Proliferation bei Reddit durch Wiederverwendbarkeit um 80 %.
Alert-Visualisierung überlagert kritische Schwellenwerte und aktive Vorfälle auf Metrikanzeigen. Schwellenwertlinien zeigen Warn- und kritische Grenzen an. Alert-Annotationen markieren, wann Vorfälle ausgelöst und behoben wurden. Stummschaltungsperioden heben Wartungsfenster hervor. Prognoseprojektionen sagen zukünftige Schwellenwertverletzungen vorher. Alarmkorrelation verknüpft verwandte Vorfälle systemübergreifend. Visueller Alarmkontext reduzierte Untersuchungen falscher Positive bei Discord um 60 %.
Performance-Optimierung stellt sicher, dass Dashboards trotz Datenmengen reaktionsfähig bleiben. Query-Caching reduziert wiederholte Datenbankzugriffe für beliebte Dashboards. Downsampling aggregiert hochauflösende Daten für längere Zeitbereiche. Lazy Loading verzögert das Panel-Rendering, bis es sichtbar ist. Recording Rules berechnen aufwendige Abfragen vor. Auflösungsbegrenzung verhindert die Anforderung von mehr Daten als Pixel verfügbar sind.
[Inhalt für die Übersetzung gekürzt]
