Probleemoplossing voor GPU-Clusters: Veelvoorkomende Problemen en Oplossingshandboek

Bijgewerkt 8 december 2025

December 2025 Update: Vloeistofkoelingstoringen nu leidende incidentcategorie—CDU-problemen, koelmiddelvervuiling, luchtsluizen. NVIDIA DCGM 3.3+ verbetert diagnostische dekking voor H100/H200. XID-foutcodes bijgewerkt voor Blackwell-architectuur. Geheugenfouttpatronen (ECC-correcties, rij-remapping) steeds vaker gebruikt voor predictieve foutdetectie. NVLink-diagnostiek essentieel voor multi-GPU trainingsproblemen.

GPU-clusters falen anders dan traditionele compute-infrastructuur. Een enkele gedegradeerde GPU in een trainingscluster van 512 nodes kan de totale doorvoer met 40% verminderen. Geheugenfouten die tolereerbaar zouden zijn in CPU-workloads veroorzaken onmiddellijke trainingsfouten. Netwerklatentiepieken van microseconden vernietigen de efficiëntie van gedistribueerde training. Dit handboek biedt systematische benaderingen voor het diagnosticeren en oplossen van de unieke faalmodi van GPU-infrastructuur.

Hardwarestoringpatronen en Diagnostiek

GPU-hardwarestoringen manifesteren zich via drie primaire patronen: onmiddellijke storingen, verminderde prestaties en intermitterende fouten. Onmiddellijke storingen triggeren doorgaans XID-fouten in NVIDIA-implementaties, waarbij XID 79 (GPU has fallen off the bus) 3,2% van de H100-implementaties treft in hun eerste jaar volgens infrastructuurrapporten van Meta. Deze storingen vereisen systematische isolatie om de hoofdoorzaken te bepalen.

NVIDIA Data Center GPU Manager (DCGM) biedt uitgebreide hardwarediagnostiek via het dcgmi diag commando. Level 3 diagnostiek draait 12 minuten en test geheugenbandbreedte, PCIe-doorvoer, NVLink-connectiviteit en thermisch gedrag onder belasting. Microsoft's Azure GPU-vloot draait elke nacht DCGM-diagnostiek op 100.000 GPU's, waarbij gedegradeerde hardware wordt geïdentificeerd voordat klanten er last van hebben. Hun geautomatiseerde pipeline verwijdert GPU's die 15% prestatiedegradatie vertonen uit productieomgevingen.

Geheugenfouten domineren de GPU-storingsstatistieken. High Bandwidth Memory (HBM) in H100 GPU's werkt op 3,35TB/s, waardoor het gevoelig is voor zowel harde als zachte fouten. ECC (Error-Correcting Code) vangt enkelbit-fouten op, maar oncorrigeerbare dubbelbit-fouten (DBE) vereisen onmiddellijke GPU-vervanging. Google Cloud's analyse toont aan dat HBM-fouten exponentieel toenemen boven 75°C, met faalpercentages die verdubbelen voor elke 5°C stijging boven deze drempelwaarde.

PCIe-interfacestoringen manifesteren zich als bandbreedtedegradatie of volledig verbindingsverlies. Het nvidia-smi -q commando onthult PCIe-linkstatus, met de huidige generatie en breedte. H100 GPU's vereisen PCIe Gen5 x16 voor volledige 128GB/s bandbreedte. Degradatie naar Gen4-snelheden vermindert bandbreedte tot 64GB/s, wat modelllaadtijden met 50% beïnvloedt. Lambda Labs ontdekte dat 8% van hun GPU-servers op verminderde PCIe-snelheden draaide door BIOS-misconfiguratie, wat jaarlijks $2,3 miljoen aan verminderd gebruik kostte.

Voedingsstoringen creëren subtiele prestatieproblemen voordat complete storing optreedt. Voltage Regulator Modules (VRM's) op H100-borden verwerken 700A bij 1,1V kernspanning. Gedegradeerde VRM's veroorzaken power throttling, waardoor GPU-frequentie daalt van 1,98GHz naar slechts 1,2GHz. Monitoringtools moeten zowel momentaan als gemiddeld stroomverbruik volgen. CoreWeave implementeerde differentiële stroommonitoring, waarbij identieke workloads over GPU's worden vergeleken om 5% voedingsdegradatie te identificeren voordat klanten er last van hebben.

Driver- en Firmwareproblemen

Driver-versieverschillen veroorzaken 31% van GPU-clusterproblemen volgens NVIDIA's supportstatistieken. CUDA-applicaties gecompileerd voor specifieke driverversies falen mysterieus wanneer driver-updates plaatsvinden. De nvidia-smi tool toont driverversie 545.23.08, maar applicaties kunnen 535.104.12 vereisen voor specifieke CUDA-functies. Versiepinning voorkomt automatische updates maar vereist handmatig beheer van beveiligingspatches.

Firmwaresynchronisatie over clusters blijkt kritisch voor gedistribueerde training. NVLink-firmwareverschillen tussen GPU's veroorzaken het falen van collectieve operaties met cryptische NCCL-fouten. Het nvidia-smi -q | grep "VBIOS Version" commando onthult firmwareversies die exact moeten overeenkomen voor optimale prestaties. OpenAI's GPT-4 trainingsclusters standaardiseren op specifieke firmwareversies, waarbij elke afwijking automatische node-quarantaine triggert.

Driver-geheugenlekken accumuleren over weken van operatie. CUDA-contextcreatie zonder correcte opruiming verbruikt systeemgeheugen, wat uiteindelijk out-of-memory fouten veroorzaakt ondanks beschikbaar VRAM. Het nvidia-smi commando toont 0MB gebruikt, maar lsof onthult duizenden verwaarloosde file descriptors. Anthropic's infrastructuur herstart automatisch GPU-drivers die meer dan 1000 open file descriptors tonen, waardoor geheugenuitputting wordt voorkomen.

Kernel module-conflicten tussen nouveau (open-source) en propriëtaire NVIDIA-drivers creëren initialisatiefouten. Het lsmod | grep nouveau commando onthult conflicterende modules die op een blacklist moeten worden geplaatst. Ubuntu 22.04 systemen vereisen expliciete blacklisting in /etc/modprobe.d/blacklist-nouveau.conf, gevolgd door update-initramfs -u om laden tijdens boot te voorkomen. Dit probleem treft 12% van nieuwe implementaties volgens Canonical's supportdata.

Container runtime-misconfiguraties verhinderen GPU-toegang ondanks correcte driverinstallatie. NVIDIA Container Toolkit versie 1.14.0 introduceerde breaking changes die expliciete apparaatselectie via NVIDIA_VISIBLE_DEVICES omgevingsvariabelen vereisen. Docker-containers gestart zonder --gpus all flag lijken te functioneren maar voeren alleen CPU-berekeningen uit op 1/100e van de verwachte snelheid. Kubernetes-implementaties vereisen nvidia.com/gpu resource limits in pod-specificaties voor correcte GPU-scheduling.

Thermisch Beheer Problemen

Thermische throttling vermindert GPU-prestaties voordat veiligheidsuitschakelingen worden getriggerd. H100 GPU's throttlen bij 83°C, waarbij kloksnelheden met 15MHz worden verlaagd voor elke graad boven de drempelwaarde. Productie-implementaties moeten temperaturen onder 75°C handhaven voor optimale prestaties. Het nvidia-smi -q -d TEMPERATURE commando geeft huidige, maximale en throttle-temperaturen voor proactieve monitoring.

Vloeistofkoelingstoringen presenteren unieke diagnostische uitdagingen. Debietdegradatie van 20% verhoogt GPU-temperaturen met 8-10°C. Druksensoren bij CDU (Coolant Distribution Unit) uitgangen moeten 30-35 PSI handhaven voor optimale stroming. Microsoft's vloeistofgekoelde clusters gebruiken differentiële drukmonitoring, die waarschuwt wanneer drukverschillen meer dan 5 PSI tussen toevoer- en retourverdeelstukken overschrijden. Deeltjesvervuiling veroorzaakt 60% van stromingsbeperkingen, wat driemaandelijkse filtervervanging vereist.

Hotspots ontwikkelen zich door ongelijke thermische pasta-applicatie of cold plate-montage. Thermische beeldvorming onthult temperatuurverschillen van meer dan 15°C over GPU-dies. Correcte montage vereist 35 in-lbs koppel op bevestigingsschroeven, aangebracht in kruispatroon om gelijkmatige druk te garanderen. Supermicro's productieproces omvat thermische validatie die minder dan 5°C variatie over dies toont, met hermontage vereist voor grotere verschillen.

Omgevingstemperatuurvariaties tussen clusterzones creëren prestatiedisbalansen. GPU's in hot aisles die 35°C omgevingstemperatuur bereiken throttlen 20% vaker dan die op 25°C. Computational Fluid Dynamics (CFD) modellering identificeert recirculatiezones waar uitlaatlucht terugkeert naar inlaatpaden. Facebook's datacenters gebruiken containment-oplossingen die 3°C temperatuuruniformiteit handhaven over 10.000 GPU-implementaties.

Ventilatorstoringen cascaderen door dichte GPU-implementaties. Elke H100 GPU vertrouwt op systeemventilatoren die 200 CFM luchtstroom leveren. Enkele ventilatorstoringen verhogen aangrenzende GPU-temperaturen met 5-7°C. Redundante ventilatorconfiguraties (N+1) voorkomen thermische events, maar vereisen 20% extra vermogen. Predictief onderhoud met behulp van ventilatorsnelheidsvariaties identificeert falende lagers 30 dagen voor complete storing, waardoor proactieve vervanging mogelijk wordt.

Netwerk- en Interconnect-probleemoplossing

InfiniBand-fabricproblemen vermenigvuldigen zich over gedistribueerde trainingsjobs. Enkele linkfouten veroorzaken dat MPI_Allreduce operaties oneindig blijven hangen. Het ibdiagnet commando voert uitgebreide fabricvalidatie uit, waarbij linksnelheden, fouttellers en routeringstabellen worden gecontroleerd. Symboolfouten die 100 per uur overschrijden duiden op kabeldegradatie die vervanging vereist. Meta's infrastructuur verwijdert automatisch nodes die buitensporige InfiniBand-fouten tonen uit trainingspools.

RDMA (Remote Direct Memory Access) prestatiedegradatie treedt op zonder duidelijke fouten. PCIe Access Control Services (ACS) moet worden uitgeschakeld voor peer-to-peer transfers tussen GPU's. Het setpci commando wijzigt PCIe-configuratieruimte, maar wijzigingen persisteren niet over reboots zonder BIOS-modificaties. Latentiemetingen met ib_write_lat moeten 1,8 microseconden tonen voor lokale verbindingen, met 10% variatie die congestie of misconfiguratie aanduidt.

NVLink-topologiemisconfiguraties verminderen bandbreedte tussen GPU-paren. Het nvidia-smi topo -m commando toont verbindingstopologie, met NV12 die volledige NVLink-bandbreedte aanduidt en PHB die alleen-PCIe verbindingen toont. Optimale configuraties creëren volledig verbonden NVLink-meshes binnen nodes. Amazon's p5.48xlarge instanties bieden 900GB/s bidirectionele NVLink-bandbreedte wanneer correct geconfigureerd, maar misconfiguraties verminderen dit tot 64GB/s PCIe-snelheden.

Netwerkcongestie van opslagverkeer beïnvloedt GPU-communicatie. Gemengde Ethernet/InfiniBand-implementaties vereisen zorgvuldige Quality of Service (QoS) configuratie. Opslagverkeer dat 40% van de beschikbare bandbreedte verbruikt verhoogt MPI collectieve operatietijden met 3x. Dedicated opslagnetwerken of traffic shaping die 60% gereserveerde bandbreedte voor GPU-communicatie handhaaft voorkomt trainingsvertragingen.

Tijdsynchronisatiefouten veroorzaken gedistribueerde trainingsfouten. Klokverschuiving van meer dan 1 milliseconde tussen nodes veroorzaakt NCCL-timeoutfouten. Precision Time Protocol (PTP) handhaaft sub-microseconde synchronisatie, maar vereist hardware timestamps-ondersteuning. Het chrony sources commando toont synchronisatiestatus, met offsetwaarden boven 100 microseconden die onmiddellijke correctie vereisen. Google's infrastructuur handhaaft 100-nanoseconde synchronisatie over wereldwijde GPU-clusters met behulp van atoomklokreferenties.

Geheugenfoutdetectie en -oplossing

HBM (High Bandwidth Memory) fouten volgen voorspelbare patronen die proactieve interventie mogelijk maken. Enkelbit-fouten gecorrigeerd door ECC duiden op degraderende geheugencellen. Het nvidia-smi -q -d ECC commando rapporteert zowel vluchtige als cumulatieve foutttellingen. Vluchtige tellingen resetten bij reboot, terwijl cumulatieve tellingen persisteren. GPU's die meer dan 10 enkelbit-fouten per uur tonen moeten worden ingepland voor vervanging tijdens het volgende onderhoudsvenster.

Geheugentoewijzingsfouten ondanks beschikbaar VRAM duiden op fragmentatie. PyTorch's torch.cuda.memory_stats() onthult toegewezen versus gereserveerd geheugen. Gereserveerd geheugen kan 2x toegewezen zijn door caching allocator-gedrag. De PYTORCH_CUDA_ALLOC_CONF omgevingsvariabele configureert toewijzingsstrategieën, met max_split_size_mb=512 dat fragmentatie vermindert voor modellen met gevarieerde tensorgroottes.

Page retirement drempelwaarden bepalen GPU-levensduur. NVIDIA GPU's pensioneren geheugenpagina's die oncorrigeerbare fouten ervaren, waardoor beschikbaar geheugen afneemt. Het nvidia-smi -q -d PAGE_RETIREMENT commando toont het aantal gepensioneerde pagina's en beschikbaarheid van extra pagina's. H100 GPU's kunnen tot 512 pagina's pensioneren voordat vervanging nodig is. Geautomatiseerde monitoring moet vervanging triggeren wanneer 400 pagina's zijn gepensioneerd, waardoor complete storing tijdens kritieke trainingsruns wordt voorkomen.

Geheugenbandbreedte degradatie duidt op thermische of vermogensproblemen. De bandwidthTest CUDA sample moet 3,35TB/s bereiken op H100 GPU's. Prestaties onder 3,0TB/s duiden op throttling. Het nvidia-smi -q -d PERFORMANCE commando onthult huidige geheugenkloksnelheden. Verlaagde snelheden correleren vaak met temperatuur boven 75°C of stroomverbruik dat TDP-limieten nadert.

CUDA out of memory (OOM) fouten vereisen systematische debugging. De CUDA_LAUNCH_BLOCKING=1 omgevingsvariabele forceert synchrone uitvoering, waardoor accurate foutlocaties worden verkregen. Geheugenprofilering met nsys profile onthult toewijzingspatronen en levens

[Inhoud afgekapt voor vertaling]