100kW+ GPU-Racks Bouwen: Stroomdistributie en Koelingsarchitectuur
Bijgewerkt 8 december 2025
Update december 2025: Het 100kW-rack is nu standaard, niet ambitieus. NVIDIA GB200 NVL72-systemen draaien op 120kW per rack, waarbij Vera Rubin NVL144 mikt op 600kW per rack tegen 2026. Rackdichtheden zijn al gestegen van 40kW naar 130kW en kunnen tegen 2030 250kW bereiken. Vloeistofkoeling bereikte 22% adoptie in datacenters, waarbij direct-to-chip 47% marktaandeel heeft. Organisaties die vandaag 100kW-implementaties plannen, moeten toekomstbestendig zijn voor 2-5x dichtheidsgroei.
Een enkel 100kW-rack verbruikt evenveel stroom als 80 Amerikaanse huishoudens, genereert warmte gelijk aan 30 woningverwarmingen en weegt meer dan drie Toyota Camry's.¹ Toch haasten organisaties wereldwijd zich om deze monsters te bouwen omdat moderne AI-training ongekende rekenkrachtdichtheid vereist. De technische uitdagingen breken elke aanname die datacenterontwerp de afgelopen drie decennia heeft geleid.
De nieuwste Azure-faciliteiten van Microsoft implementeren 100kW-racks als standaardconfiguraties, niet als experimentele uitzonderingen.² CoreWeave bouwt complete datacenters rond 120kW-rackspecificaties.³ Oracle Cloud Infrastructure streeft naar 150kW-dichtheden in hun volgende generatie regio's.⁴ Traditionele 5-10kW-rackontwerpen zien er ouderwets uit nu organisaties ontdekken dat concurrerende AI-capaciteiten extreme dichtheid of extreem veel vierkante meters vereisen.
De wiskunde van AI-infrastructuur maakt 100kW+-racks onvermijdelijk. Een NVIDIA DGX H100-systeem verbruikt 10,2kW voor acht GPU's.⁵ De aankomende DGX B200 zal 14,3kW per node verbruiken.⁶ Stapel acht nodes voor een betekenisvol trainingscluster en het stroomverbruik overschrijdt 100kW voordat netwerkapparatuur wordt meegerekend. Organisaties die deze racks niet kunnen bouwen, kunnen niet concurreren in de ontwikkeling van grote taalmodellen, medicijnontdekking of training van autonome voertuigen.
Stroomdistributiearchitectuur doorbreekt conventionele limieten
Traditionele datacenters distribueren 208V driefasestroom via 30-ampère circuits, wat ongeveer 10kW per rack levert na derating. Een 100kW-rack zou tien afzonderlijke circuits vereisen, wat een koperen spaghetti-nachtmerrie creëert die elk principe van strak ontwerp schendt. Alleen al de stroomsterkte presenteert onoverkomelijke uitdagingen: 100kW leveren bij 208V vereist 480 ampère, wat kabels vereist die dikker zijn dan honkbalknuppels.
Moderne 100kW-implementaties vereisen 415V of 480V distributie om stroomvereisten te verminderen. Bij 480V driefase vereist 100kW slechts 120 ampère per circuit, beheersbaar met 4/0 AWG geleiders.⁷ Europese faciliteiten profiteren van standaard 415V-distributie, wat verklaart waarom veel hyperscalers prioriteit geven aan Scandinavische implementaties voor hoge-dichtheid infrastructuur. Noord-Amerikaanse faciliteiten vereisen transformatorupgrades en schakelkastvervangingen, wat $500.000-$1 miljoen per megawatt toevoegt aan retrofitkosten.⁸
Power distribution units (PDU's) evolueren tot geavanceerde stroombeheerssystemen voor 100kW-racks. Raritan's PX4-serie beheert intelligent 60 stopcontacten die tot 130kW leveren, met monitoring per stopcontact en mogelijkheden voor afstandsbediening.⁹ Server Technology's HDOT PDU's bieden 415V-invoer met automatische overdrachtsschakeling tussen dubbele voedingen, wat continue werking verzekert tijdens nutsvoorvallen.¹⁰ Elke PDU kost $15.000-25.000, en de meeste 100kW-racks vereisen er twee voor redundantie.
Busbar-systemen komen naar voren als superieure alternatieven voor traditionele kabeldistributie. Starline Track Busway levert 1.600 ampère bij 415V via bovengrondse geleiders, wat meerdere 100kW-rackaftakkingen ondersteunt vanaf een enkele voeding.¹¹ Installatiekosten bereiken $1.000 per strekkende meter, maar de flexibiliteit om stroomaftakkingen te herconfigureren zonder herbedrading bespaart miljoenen gedurende de levenscyclus van de faciliteit. Siemens' Sentron busbar-systemen bevatten geïntegreerde monitoring die stroomkwaliteit volgt en onderhoudsvereisten voorspelt door harmonische analyse.¹²
Gelijkstroomdistributie elimineert meerdere conversiefasen die 10-15% van het geleverde vermogen verspillen. Lawrence Berkeley National Laboratory demonstreerde dat 380V DC-distributie het totale datacenterverbruik met 7% vermindert terwijl de betrouwbaarheid verbetert.¹³ Open Compute Project-specificaties beschrijven 48V DC-distributie direct naar serverboards, wat voedingen elimineert die warmte genereren en waardevolle rackruimte innemen.¹⁴ Facebook's Prineville-faciliteit draait volledig op DC-distributie en bereikt een PUE van 1,07 ondanks extreme rekenkrachtdichtheid.¹⁵
Koelingsarchitectuur vereist vloeistof bij de chip
Luchtkoeling wordt fysiek onmogelijk boven 50kW per rack. De thermodynamica is onverbiddelijk: het verwijderen van 100kW warmte vereist het verplaatsen van 35.000 kubieke voet per minuut (CFM) aan lucht met een temperatuurstijging van 11°C.¹⁶ Die luchtstroom zou orkaanachtige winden in de koude gang creëren, technici letterlijk van hun voeten blazend. Zelfs als je zoveel lucht zou kunnen verplaatsen, zou alleen al het ventilatievermogen 15-20kW verbruiken, wat efficiëntiedoelen tenietdoet.
Rear-door heat exchangers (RDHx) bieden overgangkoeling voor 50-75kW dichtheden. Motivair's ChilledDoor-units verwijderen tot 75kW per rack met behulp van gekoeld water dat circuleert door de in de deur gemonteerde radiator.¹⁷ CoolIT Systems' CHx750 bereikt vergelijkbare capaciteit met ventilatoren met variabele snelheid die zich aanpassen aan de warmtelast.¹⁸ De technologie werkt, maar 100kW+-dichtheden overweldigen zelfs de meest geavanceerde RDHx-ontwerpen. Het vereiste temperatuurverschil zou condensatierisico's creëren die de betrouwbaarheid van apparatuur bedreigen.
Directe vloeistofkoeling naar koude platen wordt verplicht voor echte 100kW+-implementaties. Asetek's InRackCDU distribueert koelvloeistof op 25°C direct naar CPU- en GPU-koude platen, wat tot 120kW per rack verwijdert.¹⁹ Het systeem handhaaft chiptemperaturen onder 70°C zelfs bij maximale belasting, vergeleken met 85-90°C bij luchtkoeling. Lagere bedrijfstemperaturen verminderen lekstroom, wat de energie-efficiëntie met 3-5% verbetert bovenop de koelingsbesparingen.²⁰
Onderdompelingskoeling vertegenwoordigt de ultieme oplossing voor extreme dichtheid. Submer's SmartPodX dompelt complete servers onder in diëlektrische vloeistof, wat 100kW in slechts 2,4 vierkante meter vloeroppervlak verwerkt.²¹ GRC's ICEraQ Series 10 ondersteunt tot 368kW per tank, hoewel praktische implementaties zelden 200kW overschrijden.²² De afwezigheid van ventilatoren elimineert 10-15% van het serverstroomverbruik terwijl faalpercentages met 70% worden verminderd door eliminatie van mechanische componenten.²³
Tweefase-onderdompelingskoeling verlegt grenzen nog verder. 3M's Fluorinert-vloeistoffen koken bij nauwkeurig gecontroleerde temperaturen, waarbij de faseovergang enorme warmtehoeveelheden absorbeert.²⁴ De damp stijgt naar condensors waar het terugkeert naar vloeibare staat, wat een passief circulatiesysteem creëert dat geen pompen vereist. Microsoft's Project Natick demonstreerde tweefase-koeling die consistente 35°C chiptemperaturen handhaafde ondanks 250kW/m² warmteflux.²⁵ De technologie blijft experimenteel, maar de fysica suggereert dat het 500kW+ per rack zou kunnen verwerken.
Constructietechniek confronteert enorme belastingen
Een volledig gevuld 100kW-rack weegt 2.700-3.600 kilogram, geconcentreerd in slechts 1 vierkante meter.²⁶ Standaard verhoogde vloeren met een belastingscapaciteit van 1.200 kg per vierkante meter bezwijken onder dergelijke lasten. Het gewicht zijn niet alleen de servers: koperen kabels alleen al voegen 225-360 kilogram toe, koelvloeistof voegt nog eens 90-135 kilogram toe, en de rackstructuur zelf weegt 225-450 kilogram. Seismische zones staan voor extra uitdagingen aangezien 3.600 kilogram zwaaiende massa aangrenzende apparatuur kan vernietigen tijdens aardbevingen.
Vloer-op-grond-implementaties elimineren verhoogde vloerbeperkingen maar creëren nieuwe uitdagingen. Beton moet worden versterkt om 5.000+ kg/m² belastingen te verwerken met minimale doorbuiging.²⁷ Voorgespannen beton met epoxy-gecoate wapening voorkomt scheuren die de structurele integriteit kunnen compromitteren. De plaatdikte neemt toe tot 30-45 centimeter, vergeleken met 15-20 centimeter voor traditionele datacenters. Alleen al funderingswerk voegt $500-750 per vierkante meter toe aan bouwkosten.²⁸
Constructiestalen raamwerken verdelen lasten over grotere oppervlakken. Introl ontwerpt op maat gemaakte stalen platforms die 100kW-racklasten spreiden over 4 vierkante meter, wat puntbelastingen reduceert tot beheersbare niveaus. De raamwerken bevatten geïntegreerde kabelgoten, koelvloeistofverdeelstukken en onderhoudsplatforms. Modulaire ontwerpen maken installatie mogelijk zonder faciliteitsstilstand, cruciaal voor retrofitprojecten. Elk raamwerk kost $25.000-35.000 maar voorkomt catastrofaal vloerfalen dat miljoenen zou kosten.
Bovengrondse ondersteuningssystemen elimineren vloerbelasting volledig. Facebook's datacenters hangen servers op aan plafondrails, met stroom en koeling geleverd van bovenaf.²⁹ De aanpak vereist 5,5-6 meter plafondhoogtes maar maakt onbeperkte vloertoegang mogelijk voor onderhoud. Chatsworth Products' Evolution Cable Management-systeem ondersteunt 750 kilogram per strekkende meter vanaf bovengrondse structuren, voldoende voor de zwaarste stroom- en koelvloeistofdistributie.³⁰
Seismische isolatie wordt kritiek in aardbevingszones. WorkSafe Technologies' ISO-Base-platforms gebruiken kogellagerisolatie om apparatuur te beschermen tijdens seismische gebeurtenissen.³¹ De platforms staan 30 centimeter horizontale beweging toe terwijl verticale stabiliteit behouden blijft. Elk platform ondersteunt 4.500 kilogram en kost $15.000-20.000, maar verzekeringsmaatschappijen eisen steeds vaker seismische bescherming voor hoogwaardige computerapparatuur in Californië, Japan en andere actieve zones.
Kabelbeheer vermenigvuldigt exponentieel
Een 100kW-rack dat 64 GPU's host, vereist meer dan 500 kabels: 128 InfiniBand-verbindingen, 64 beheernetwerkkabels, 96 stroomkabels, plus tientallen sensor- en besturingsverbindingen. Elke InfiniBand-kabel alleen al kost $500-1.500 afhankelijk van lengte en datasnelheid.³² De totale kabelkosten per rack naderen $100.000, en slecht beheer vernietigt zowel luchtstroom als onderhoudbaarheid.
Hogesnelheidssignalen vereisen nauwkeurige kabelroutering om signaalintegriteit te behouden. InfiniBand HDR draaiend op 200Gbps tolereert minder dan 7,5 centimeter ongecompenseerde differentiële paarlengtes.³³ De buigstraal moet 10 keer de kabeldiameter overschrijden om impedantiewijzigingen te voorkomen die bitfouten veroorzaken. Introl gebruikt lasermeetsystemen om kabellengtes te verifiëren binnen 1mm tolerantie, waarbij elke verbinding wordt gedocumenteerd voor toekomstige probleemoplossing.
Kabelgewicht creëert onverwachte uitdagingen. Vijfhonderd kabels die elk 1-1,5 kilogram wegen, voegen 450-680 kilogram toe aan de rackinfrastructuur. Het gewicht zorgt ervoor dat rackdeuren doorzakken, waardoor ze moeilijk te openen zijn. Verticale kabelmanagers moeten worden versterkt om instorting te voorkomen. Panduit's Net-Verse-kasten bevatten geïntegreerd kabelbeheer met een belastingscapaciteit van 900 kilogram, met verstelbare vingers elke 1U om juiste routering te handhaven.³⁴
Glasvezelkabels verminderen gewicht maar introduceren kwetsbaarheidsproblemen. Een enkele 400G optische transceiver kost $2.000-4.000, en de glasvezelkabels die ze verbinden zijn gemakkelijk beschadigd.³⁵ De minimale buigstraal neemt toe tot 20 keer de kabeldiameter voor singlemode-glasvezel. Technici hebben gespecialiseerde training nodig om glasvezel te hanteren zonder microbuigingen te veroorzaken die de signaalkwaliteit verslechteren. Schone verbindingen worden kritiek aangezien een enkel stofdeeltje 50% signaalverlies kan veroorzaken.
Kabellevenscyclusbeheer voorkomt dure stilstand. Elke kabel heeft documentatie nodig inclusief installatiedatum, testresultaten en onderhoudsgeschiedenis. Introl implementeert RFID-tags op elke kabel, wat directe identificatie mogelijk maakt met draagbare scanners. Onze kabelbeheersdatabase volgt 50 miljoen individuele verbindingen over wereldwijde implementaties. Voorspellende analyses identificeren kabels die falen naderen op basis van buigstraalschendingen, temperatuurblootstelling en leeftijd.
Redundantiearchitectuur verzekert continue werking
Enkelvoudige faalpunten worden catastrofaal op 100kW-schaal. Een PDU-storing zou $5 miljoen aan GPU's laten crashen. Een koelpompstoring zou thermische uitschakeling binnen 60 seconden veroorzaken. Traditionele N+1-redundantie blijkt onvoldoende wanneer de impact van storing met 10x vermenigvuldigt. Moderne 100kW-implementaties vereisen 2N-redundantie voor stroom en koeling, waarbij 50% onbenutte capaciteit wordt geaccepteerd als verzekering tegen stilstand.
Stroomredundantie begint bij de nutsaansluiting met dubbele voedingen vanaf afzonderlijke onderstations. Automatische overdrachtsschakelaars (ATS) schakelen naadloos over tussen
[Inhoud afgekapt voor vertaling]
