GB200 NVL72 Deployment: Beheer van 72 GPU's in vloeistofgekoelde configuraties
Bijgewerkt 8 december 2025
Tweeënzeventig GPU's die functioneren als één computationele eenheid is nu productierealiteit. De GB200 NVL72 verbruikt 120 kilowatt en levert 1,4 exaflops aan AI-rekenkracht in één enkel rack.¹ De architectuur doorbreekt traditionele grenzen tussen nodes en creëert een coherent computationeel weefsel dat modellen met biljoenen parameters verwerkt zonder de distributed computing-nadelen die conventionele clusters teisteren. Organisaties die deze systemen implementeren, staan voor engineeringuitdagingen die herdefiniëren wat infrastructuurteams voor mogelijk houden.
December 2025 Update: GB200 NVL72-systemen werden vanaf december 2024 geleverd aan grote cloudproviders, waarbij de massaproductie op volle schaal kwam in Q2-Q3 2025. Analisten herzagen de verzendprognoses voor 2025 naar 25.000-35.000 kasten (verlaagd van initiële projecties van 50.000-80.000) vanwege vereisten voor supply chain-optimalisatie. NVIDIA heeft op GTC 2025 al de opvolger GB300 NVL72 onthuld, met Blackwell Ultra GPU's met 288GB HBM3e-geheugen, 1,4kW vermogen per GPU en 50% betere prestaties (1.100 PFLOPS FP4 inference). GB300-systemen gingen in productie in Q3 2025, waarbij Quanta vanaf september units begon te leveren. Organisaties die nieuwe implementaties plannen, moeten de beschikbaarheid van GB300 afwegen tegen directe GB200-behoeften.
De cijfers alleen al verbazen ervaren datacenterarchitecten: 13,5 terabyte HBM3e-geheugen toegankelijk met 576 terabyte per seconde, verbonden via vijfde generatie NVLink met 130 terabyte per seconde GPU-naar-GPU-bandbreedte.² Elk rack weegt 3.000 kilogram en vereist 2,4 megawatt aan koelcapaciteit geleverd via verplichte vloeistofkoelsystemen.³ Traditionele deployment-draaiboeken worden irrelevant wanneer een enkel systeem $3 miljoen kost en GPT-4-klasse modellen in weken kan trainen in plaats van maanden.
CoreWeave bestelde voor $2,3 miljard aan GB200 NVL72-systemen voor levering in 2025, waarbij ze hun gehele infrastructuurstrategie inzetten op het vermogen van het platform om de markten voor large language model training en inference te domineren.⁴ Lambda Labs kocht 200 units vooraf ondanks dat ze hun faciliteiten volledig moesten herbouwen om aan de stroom- en koelvereisten te voldoen.⁵ De goudkoorts naar deze systemen onthult een fundamentele waarheid: organisaties die geen GB200 NVL72-infrastructuur kunnen implementeren, riskeren irrelevantie in de ontwikkeling van foundation models.
Architectuur herdefinieert computergrenzen
De GB200 NVL72 verbindt 36 Grace-Blackwell Superchips via een tweeniveau NVLink-switchsysteem dat ongekende computationele coherentie creëert. Elke Superchip combineert een Arm-gebaseerde Grace CPU met twee Blackwell GPU's, verbonden via NVLink-C2C met 900GB/s bidirectionele bandbreedte.⁶ De 72 GPU's delen geheugen en communiceren alsof ze één enkele massieve processor zijn, waardoor de synchronisatie-overhead die traditionele distributed training beperkt wordt geëlimineerd.
NVLink Switch Trays vormen de ruggengraat van het systeem, met negen trays die elk vier NVLink Switch-chips ondersteunen. Deze switches bieden all-to-all connectiviteit tussen GPU's met 1,8TB/s per GPU, waardoor elke GPU elke geheugenlocatie in het systeem binnen 300 nanoseconden kan benaderen.⁷ De uniformiteit in latentie betekent dat ontwikkelaars het gehele systeem kunnen behandelen als één enkele GPU met 72 keer de resources, wat softwareontwikkeling drastisch vereenvoudigt.
Geheugenarchitectuur breekt elk precedent in de computergeschiedenis. Het systeem biedt 13,5TB HBM3e-geheugen met 576TB/s totale bandbreedte, plus een extra 2,25TB LPDDR5X toegankelijk voor de Grace CPU's.⁸ Geheugencoherentie strekt zich uit over alle processors, waardoor CPU's en GPU's datastructuren kunnen delen zonder expliciet kopiëren. Large language models die voorheen complexe modelparallellisme over meerdere nodes vereisten, passen nu volledig in de geheugenruimte van één enkele NVL72.
Koeling wordt een integraal onderdeel van de architectuur in plaats van een bijzaak. NVIDIA verplicht vloeistofkoeling met strikte specificaties: inlaattemperatuur tussen 20-25°C, debiet van 80 liter per minuut en drukval niet hoger dan 1,5 bar.⁹ Het koelsysteem houdt junctietemperaturen onder 75°C ondanks continue warmtegeneratie van 120kW. Afwijking van specificaties activeert automatische throttling die prestaties met 60% kan verminderen, waardoor koeling net zo kritisch wordt als rekenresources.
Stroomvoorziening vereist complete infrastructuurherontwerp. Het systeem trekt continu 120kW via vier 30kW-voedingseenheden, elk met 480V driefase-invoer.¹⁰ Stroomconversie gebeurt in twee fasen: AC naar 54V DC in de voedingseenheden, daarna 54V naar point-of-load spanningen op de computeboards. De architectuur bereikt 97% conversie-efficiëntie, maar genereert nog steeds 3,6kW aan restwarmte alleen al door stroomconversie.
Fysieke deployment-uitdagingen vermenigvuldigen zich
Het installeren van een GB200 NVL72 vereist militaire precisie en gespecialiseerde apparatuur. Het systeem arriveert in vier afzonderlijke componenten: het computerack van 1.500kg, het NVLink Switch-rack van 800kg, de CDU van 400kg en de stroomverdeelenheid van 300kg.¹¹ Standaard datacenterdeuren kunnen de breedte niet aan, wat verwijdering van deurkozijnen en soms muren vereist. Introl's deploymentteams gebruiken gespecialiseerde hydraulische liften met een capaciteit van 2.000kg om componenten te positioneren zonder vloeroppervlakken te beschadigen.
Vloerbelasting vormt onmiddellijke structurele zorgen. Het computerack concentreert 1.500kg in slechts 0,8 vierkante meter, wat puntbelastingen van 1.875 kg/m² creëert.¹² Standaard verhoogde vloeren met een rating van 1.000 kg/m² vereisen stalen versterkingsplaten om het gewicht te verdelen. Veel faciliteiten kiezen voor installatie op een vloerplaat met gewapende betonnen funderingen specifiek gegoten voor NVL72-implementaties. Seismische zones vereisen extra verankering om beweging tijdens aardbevingen te voorkomen.
Kabelmanagement wordt een driedimensionale puzzel met meer dan 5.000 individuele verbindingen. Het systeem gebruikt 144 koperen NVLink-kabels voor GPU-interconnects, 288 optische kabels voor netwerkconnectiviteit, 72 vloeistofkoelbuizen en honderden stroomkabels.¹³ NVIDIA levert exacte kabellengtes en routeringsdiagrammen, aangezien afwijkingen signaalintegriteitsproblemen veroorzaken bij snelheden van 1,8TB/s. Installatieteams besteden 60-80 uur alleen aan kabelmanagement, waarbij ze augmented reality-headsets gebruiken om te verifiëren dat elke verbinding overeenkomt met specificaties.
Vloeistofkoelinfrastructuur vereist farmaceutische reinheid. Het koelcircuit bevat 200 liter speciaal geformuleerde koelvloeistof die specifieke geleidbaarheid, pH en deeltjesniveaus moet handhaven.¹⁴ Een enkel verontreinigend deeltje kan de microkanaals cold plates verstoppen die individuele chips koelen. Installatieteams spoelen het gehele systeem drie keer met gedeïoniseerd water voordat koelvloeistof wordt toegevoegd. Het proces duurt 12-16 uur en vereist gespecialiseerde pompapparatuur.
Netwerkintegratie vereist ongekende bandbreedteprovisioning. Elke NVL72 heeft acht 400GbE-verbindingen nodig voor externe connectiviteit, wat neerkomt op 3,2Tb/s per systeem.¹⁵ De bandbreedtevereiste overschrijdt de totale externe connectiviteit van veel faciliteiten. Organisaties implementeren doorgaans dedicated glasvezelverbindingen van NVL72-systemen naar core routers, waarbij traditionele top-of-rack switching-architecturen worden omzeild. Het netwerkontwerp moet rekening houden met oost-west verkeerspatronen terwijl NVL72-systemen checkpoints en gradiënten uitwisselen tijdens distributed training.
Software-orchestratie op extreme schaal
Het beheren van 72 GPU's als een coherent systeem vereist fundamentele wijzigingen in softwarearchitectuur. NVIDIA's NVLink Switch System-software creëert één geheugenruimte over alle GPU's, maar applicaties moeten ontworpen zijn om deze mogelijkheid te benutten. Traditionele distributed training frameworks zoals Horovod en PyTorch Distributed worden onnodige overhead. Ontwikkelaars gebruiken NVIDIA's Transformer Engine-bibliotheken die automatisch modellen over de 72 GPU's partitioneren zonder handmatige interventie.¹⁶
Container-orchestratieplatforms worstelen met het resourcemodel van NVL72. Kubernetes ziet het systeem standaard als 72 afzonderlijke GPU's, wat leidt tot schedulingconflicten en resourcefragmentatie. NVIDIA biedt aangepaste device plugins die de NVL72 presenteren als één schedulable eenheid, maar dit breekt compatibiliteit met standaard ML-platforms.¹⁷ Organisaties wijden vaak volledige NVL72-systemen aan enkele workloads in plaats van multi-tenancy te proberen.
Geheugenbeheer vereist zorgvuldige overweging van NUMA-effecten ondanks de uniforme geheugenruimte. Elke Grace CPU heeft lokaal LPDDR5X-geheugen met 500GB/s bandbreedte naar lokale GPU's maar slechts 100GB/s naar remote GPU's.¹⁸ Optimale prestaties vereisen dataplaatsingsalgoritmen die cross-socket geheugentoegang minimaliseren. NVIDIA's Magnum IO-bibliotheken handelen enige optimalisatie automatisch af, maar aangepaste applicaties hebben expliciete NUMA-awareness nodig.
Foutafhandeling wordt complex wanneer 72 GPU's als één opereren. Een enkele GPU-storing betekende traditioneel het verlies van 1/8e van de rekenkracht van een node. In NVL72 kan één defecte GPU het gehele systeem destabiliseren door NVLink-topologieafhankelijkheden. NVIDIA implementeert hardware-niveau foutisolatie die NVLink-routing dynamisch herconfigureert rond defecte componenten, maar prestaties degraderen met 15-20% per defecte GPU.¹⁹ De meeste implementaties onderhouden reserve NVL72-systemen in plaats van reparaties op productie-units te proberen.
Prestatiemonitoring genereert overweldigende telemetrievolumes. Elke GPU produceert 10.000+ metrics per seconde over temperatuur, vermogen, geheugenbandbreedte en rekencapaciteitsgebruik.²⁰ Vermenigvuldigd met 72 GPU's plus CPU's en switches, genereert een enkele NVL72 1 miljoen metrics per seconde. Traditionele monitoringsystemen kunnen dit volume niet aan. Organisaties implementeren dedicated time-series databases en gebruiken AI-gedreven analytics om anomalieën in de telemetriestroom te identificeren.
Economische modellen dagen conventioneel denken uit
De prijskaart van $3 miljoen van de GB200 NVL72 lijkt astronomisch tot je het vergelijkt met alternatieven. Het bouwen van equivalente rekenkracht uit discrete DGX H100-systemen zou negen nodes vereisen die $2,7 miljoen kosten, maar met 5x hoger stroomverbruik en 10x meer rackruimte.²¹ De coherente architectuur van de NVL72 elimineert inter-node communicatie-overhead en biedt 30% betere werkelijke doorvoer voor large model training. De premie verdient zichzelf terug door kortere trainingstijd en lagere operationele kosten.
Stroomkosten zijn gunstig voor de NVL72 ondanks zijn 120kW-verbruik. Traditionele distributed systemen die vergelijkbare rekenkracht bereiken zouden 400-500kW verbruiken inclusief networking overhead.²² Bij industriële tarieven van $0,10 per kWh komen de stroombesparingen neer op $300.000 per jaar. De verminderde koellast bespaart nog eens $100.000 jaarlijks. Over een typische afschrijvingsperiode van drie jaar compenseren energiebesparingen bijna de helft van de initiële premie.
Reducties in trainingstijd vertalen zich direct naar concurrentievoordeel. OpenAI schat dat GPT-4-training op NVL72-systemen zou worden voltooid in 45 dagen versus 90 dagen op eerdere infrastructuur.²³ Voor organisaties die dagelijks $1 miljoen aan rekenresources uitgeven, rechtvaardigen de tijdsbesparingen elke redelijke hardwarepremie. First-mover voordelen in AI-markten maken snelheid van onschatbare waarde voorbij pure financiële berekeningen.
Bezettingsgraden verbeteren dramatisch met uniforme architectuur. Traditionele clusters bereiken 50-60% GPU-bezetting door communicatie- en synchronisatie-overhead.²⁴ NVL72-systemen handhaven 85-90% bezetting door inter-node bottlenecks te elimineren. De verbeterde bezetting betekent dat elke NVL72 de effectieve rekenkracht levert van 120-130 traditionele GPU's, wat de economie van grootschalige AI-infrastructuur verandert.
Operationele kosten verrassen veel financiële analisten. De complexiteit van het systeem vereist dedicated engineeringteams met salarissen van $200.000+. Koelvloeistof alleen al kost jaarlijks $10.000 met driemaandelijkse tests van $2.000. Reserveonderdelenvoorraad voor een enkele NVL72 legt $500.000 aan kapitaal vast. Toch vallen deze kosten in het niet bij de opportuniteitskosten van onvoldoende rekenkracht voor modelontwikkeling.
Praktijkimplementaties onthullen operationele realiteiten
Anthropic's Claude 3 trainingsinfrastructuur
[Inhoud ingekort voor vertaling]
