Aufbau von 100kW+ GPU-Racks: Stromverteilung und Kühlungsarchitektur

Aktualisiert am 8. Dezember 2025

Update Dezember 2025: Das 100kW-Rack ist mittlerweile Standard, nicht mehr nur ein Ziel. NVIDIA GB200 NVL72-Systeme arbeiten mit 120kW pro Rack, wobei Vera Rubin NVL144 bis 2026 auf 600kW pro Rack abzielt. Die Rack-Dichten sind bereits von 40kW auf 130kW gestiegen und könnten bis 2030 250kW erreichen. Die Einführung von Flüssigkeitskühlung erreichte 22% der Rechenzentren, wobei Direct-to-Chip mit 47% Marktanteil dominiert. Organisationen, die heute 100kW-Installationen planen, müssen für ein 2-5-faches Dichtewachstum vorsorgen.

Ein einzelnes 100kW-Rack verbraucht so viel Strom wie 80 amerikanische Haushalte, erzeugt Wärme entsprechend 30 Wohnungsheizungen und wiegt mehr als drei Toyota Camrys.¹ Dennoch wetteifern Organisationen weltweit darum, diese Ungetüme zu bauen, weil modernes KI-Training eine beispiellose Rechendichte erfordert. Die technischen Herausforderungen sprengen jede Annahme, die das Rechenzentrumsdesign in den letzten drei Jahrzehnten geprägt hat.

Microsofts neueste Azure-Einrichtungen setzen 100kW-Racks als Standardkonfigurationen ein, nicht als experimentelle Ausnahmen.² CoreWeave baut ganze Rechenzentren um 120kW-Rack-Spezifikationen herum.³ Oracle Cloud Infrastructure strebt in ihren Regionen der nächsten Generation Dichten von 150kW an.⁴ Traditionelle 5-10kW-Rack-Designs wirken antiquiert, während Organisationen feststellen, dass wettbewerbsfähige KI-Fähigkeiten entweder extreme Dichte oder extreme Grundstücksflächen erfordern.

Die Mathematik der KI-Infrastruktur macht 100kW+-Racks unvermeidlich. Ein NVIDIA DGX H100-System verbraucht 10,2kW für acht GPUs.⁵ Das kommende DGX B200 wird 14,3kW pro Node verbrauchen.⁶ Stapelt man acht Nodes für einen sinnvollen Trainingscluster, übersteigt der Stromverbrauch 100kW, noch bevor Netzwerkausrüstung berücksichtigt wird. Organisationen, die diese Racks nicht bauen können, können im Bereich der Entwicklung großer Sprachmodelle, der Medikamentenentwicklung oder dem Training autonomer Fahrzeuge nicht konkurrieren.

Stromverteilungsarchitektur sprengt konventionelle Grenzen

Traditionelle Rechenzentren verteilen 208V Drehstrom über 30-Ampere-Stromkreise und liefern nach Derating etwa 10kW pro Rack. Ein 100kW-Rack würde zehn separate Stromkreise erfordern und ein Kupferkabel-Chaos verursachen, das jedes Prinzip sauberen Designs verletzt. Allein die Stromstärke stellt unüberwindbare Herausforderungen dar: Die Lieferung von 100kW bei 208V erfordert 480 Ampere und damit Kabel, die dicker als Baseballschläger sind.

Moderne 100kW-Installationen erfordern 415V- oder 480V-Verteilung, um die Stromanforderungen zu reduzieren. Bei 480V Drehstrom benötigt 100kW nur 120 Ampere pro Stromkreis, handhabbar mit 4/0 AWG-Leitern.⁷ Europäische Einrichtungen profitieren von der standardmäßigen 415V-Verteilung, was erklärt, warum viele Hyperscaler nordische Standorte für hochdichte Infrastruktur priorisieren. Nordamerikanische Einrichtungen erfordern Transformator-Upgrades und Schaltanlagenersatz, was $500.000 bis $1 Million pro Megawatt an Nachrüstungskosten hinzufügt.⁸

Power Distribution Units (PDUs) entwickeln sich zu ausgeklügelten Energiemanagementsystemen für 100kW-Racks. Die PX4-Serie von Raritan verwaltet intelligent 60 Steckdosen mit bis zu 130kW Leistung, mit Überwachung und Fernschaltung pro Steckdose.⁹ Die HDOT-PDUs von Server Technology bieten 415V-Eingang mit automatischem Transferschalter zwischen zwei Einspeisungen und gewährleisten kontinuierlichen Betrieb bei Netzereignissen.¹⁰ Jede PDU kostet $15.000-25.000, und die meisten 100kW-Racks benötigen zwei für Redundanz.

Stromschienensysteme erweisen sich als überlegene Alternative zur traditionellen Kabelverteilung. Starline Track Busway liefert 1.600 Ampere bei 415V durch Überkopfleiter und unterstützt mehrere 100kW-Rack-Abgriffe von einer einzigen Einspeisung.¹¹ Die Installationskosten erreichen $1.000 pro laufenden Fuß, aber die Flexibilität, Stromabgriffe ohne Neuverkabelung umzukonfigurieren, spart Millionen während der Lebensdauer der Einrichtung. Die Sentron-Stromschienensysteme von Siemens beinhalten integriertes Monitoring, das die Stromqualität verfolgt und Wartungsbedarf durch Oberwellenanalyse vorhersagt.¹²

Gleichstromverteilung eliminiert mehrere Umwandlungsstufen, die 10-15% der gelieferten Energie verschwenden. Das Lawrence Berkeley National Laboratory demonstrierte, dass 380V-DC-Verteilung den Gesamtverbrauch des Rechenzentrums um 7% reduziert und gleichzeitig die Zuverlässigkeit verbessert.¹³ Open Compute Project-Spezifikationen beschreiben 48V-DC-Verteilung direkt zu den Server-Boards, wodurch Netzteile eliminiert werden, die Wärme erzeugen und wertvollen Rack-Platz belegen.¹⁴ Facebooks Prineville-Einrichtung läuft vollständig mit DC-Verteilung und erreicht einen PUE von 1,07 trotz extremer Rechendichte.¹⁵

Kühlungsarchitektur erfordert Flüssigkeit direkt am Chip

Luftkühlung wird oberhalb von 50kW pro Rack physikalisch unmöglich. Die Thermodynamik ist unerbittlich: Die Abfuhr von 100kW Wärme erfordert die Bewegung von 35.000 Kubikfuß pro Minute (CFM) Luft bei einem Temperaturanstieg von 20°F.¹⁶ Dieser Luftstrom würde orkanarige Winde im Kaltgang erzeugen und Techniker buchstäblich von den Füßen reißen. Selbst wenn man so viel Luft bewegen könnte, würde allein die Lüfterleistung 15-20kW verbrauchen und die Effizienzziele zunichtemachen.

Rear-Door Heat Exchanger (RDHx) bieten Übergangskühlung für Dichten von 50-75kW. Die ChilledDoor-Einheiten von Motivair entfernen bis zu 75kW pro Rack durch Kaltwasserzirkulation im türmontierten Radiator.¹⁷ Das CHx750 von CoolIT Systems erreicht ähnliche Kapazität mit drehzahlgeregelten Lüftern, die sich an die Wärmelast anpassen.¹⁸ Die Technologie funktioniert, aber 100kW+-Dichten überfordern selbst die fortschrittlichsten RDHx-Designs. Die erforderliche Temperaturdifferenz würde Kondensationsrisiken schaffen, die die Zuverlässigkeit der Ausrüstung gefährden.

Direkte Flüssigkeitskühlung zu Kaltplatten wird für echte 100kW+-Installationen obligatorisch. Die InRackCDU von Asetek verteilt Kühlmittel bei 25°C direkt zu CPU- und GPU-Kaltplatten und entfernt bis zu 120kW pro Rack.¹⁹ Das System hält die Chiptemperaturen unter 70°C selbst bei maximaler Last, verglichen mit 85-90°C bei Luftkühlung. Niedrigere Betriebstemperaturen reduzieren den Leckstrom und verbessern die Energieeffizienz um 3-5% über die Kühlungseinsparungen hinaus.²⁰

Immersionskühlung stellt die ultimative Lösung für extreme Dichte dar. Das SmartPodX von Submer taucht ganze Server in dielektrische Flüssigkeit und bewältigt 100kW auf nur 2,4 Quadratmetern Bodenfläche.²¹ Die ICEraQ Series 10 von GRC unterstützt bis zu 368kW pro Tank, obwohl praktische Installationen selten 200kW überschreiten.²² Das Fehlen von Lüftern eliminiert 10-15% des Server-Stromverbrauchs und reduziert gleichzeitig die Ausfallraten um 70% durch den Wegfall mechanischer Komponenten.²³

Zweiphasen-Immersionskühlung verschiebt die Grenzen noch weiter. Die Fluorinert-Flüssigkeiten von 3M sieden bei präzise kontrollierten Temperaturen, wobei der Phasenübergang enorme Wärmemengen absorbiert.²⁴ Der Dampf steigt zu Kondensatoren auf, wo er in den flüssigen Zustand zurückkehrt und ein passives Zirkulationssystem ohne Pumpen schafft. Microsofts Project Natick demonstrierte Zweiphasenkühlung, die konstante 35°C-Chiptemperaturen trotz 250kW/m² Wärmefluss aufrechterhält.²⁵ Die Technologie bleibt experimentell, aber die Physik deutet darauf hin, dass sie 500kW+ pro Rack bewältigen könnte.

Tragwerksplanung konfrontiert massive Lasten

Ein voll bestücktes 100kW-Rack wiegt 2.700-3.600 kg, konzentriert auf nur 0,9 Quadratmetern.²⁶ Standard-Doppelböden mit einer Belastbarkeit von 1.200 kg pro Quadratmeter kollabieren unter solchen Lasten. Das Gewicht stammt nicht nur von den Servern: Kupferkabel allein fügen 225-360 kg hinzu, Kühlmittel weitere 90-135 kg, und die Rack-Struktur selbst wiegt 225-450 kg. Erdbebenzonen stehen vor zusätzlichen Herausforderungen, da 3.600 kg schwankende Masse benachbarte Ausrüstung während Erdbeben zerstören kann.

Bodenplatten-Installationen eliminieren Doppelboden-Beschränkungen, schaffen aber neue Herausforderungen. Beton muss verstärkt werden, um 50.000+ kg/m² Lasten bei minimaler Durchbiegung zu bewältigen.²⁷ Vorgespannter Beton mit epoxidbeschichtetem Bewehrungsstahl verhindert Rissbildung, die die strukturelle Integrität gefährden könnte. Die Plattendicke erhöht sich auf 30-45 cm, verglichen mit 15-20 cm für traditionelle Rechenzentren. Allein die Fundamentarbeiten fügen $500-750 pro Quadratmeter zu den Baukosten hinzu.²⁸

Stahlrahmen-Konstruktionen verteilen Lasten über größere Flächen. Introl entwirft maßgeschneiderte Stahlplattformen, die 100kW-Rack-Lasten über 4 Quadratmeter verteilen und Punktlasten auf handhabbare Niveaus reduzieren. Die Rahmen beinhalten integrierte Kabeltrassen, Kühlmittelverteiler und Wartungsplattformen. Modulare Designs ermöglichen die Installation ohne Anlagenstillstand, entscheidend für Nachrüstungsprojekte. Jeder Rahmen kostet $25.000-35.000, verhindert aber katastrophales Bodenversagen, das Millionen kosten würde.

Überkopf-Tragsysteme eliminieren Bodenbelastung vollständig. Facebooks Rechenzentren hängen Server von deckenmontierte Schienen auf, wobei Strom und Kühlung von oben geliefert werden.²⁹ Der Ansatz erfordert 5,5-6 Meter Deckenhöhe, ermöglicht aber unbegrenzten Bodenzugang für Wartung. Das Evolution Cable Management-System von Chatsworth Products trägt 750 kg pro laufendem Meter von Überkopfstrukturen, ausreichend für die schwerste Strom- und Kühlmittelverteilung.³⁰

Erdbebenisolierung wird in Erdbebenzonen kritisch. Die ISO-Base-Plattformen von WorkSafe Technologies verwenden Kugellager-Isolierung, um Ausrüstung bei seismischen Ereignissen zu schützen.³¹ Die Plattformen ermöglichen 30 cm horizontale Bewegung bei gleichzeitiger vertikaler Stabilität. Jede Plattform trägt 4.500 kg und kostet $15.000-20.000, aber Versicherungsgesellschaften verlangen zunehmend seismischen Schutz für hochwertige Computerausrüstung in Kalifornien, Japan und anderen aktiven Zonen.

Kabelmanagement multipliziert sich exponentiell

Ein 100kW-Rack mit 64 GPUs erfordert über 500 Kabel: 128 InfiniBand-Verbindungen, 64 Management-Netzwerkkabel, 96 Stromkabel, plus Dutzende von Sensor- und Steuerungsverbindungen. Jedes InfiniBand-Kabel allein kostet $500-1.500 je nach Länge und Datenrate.³² Die gesamten Kabelkosten pro Rack nähern sich $100.000, und schlechtes Management zerstört sowohl den Luftstrom als auch die Wartbarkeit.

Hochgeschwindigkeitssignale erfordern präzise Kabelführung zur Aufrechterhaltung der Signalintegrität. InfiniBand HDR mit 200Gbps toleriert weniger als 7,5 cm Längenunterschied bei differentiellen Paaren.³³ Der Biegeradius muss das 10-fache des Kabeldurchmessers überschreiten, um Impedanzänderungen zu verhindern, die Bitfehler verursachen. Introl verwendet Lasermesssysteme, um Kabellängen auf 1mm Toleranz zu verifizieren und dokumentiert jede Verbindung für zukünftige Fehlersuche.

Kabelgewicht schafft unerwartete Herausforderungen. Fünfhundert Kabel mit jeweils 1-1,5 kg fügen 450-680 kg zur Rack-Infrastruktur hinzu. Das Gewicht lässt Rack-Türen durchhängen und macht sie schwer zu öffnen. Vertikale Kabelmanager müssen verstärkt werden, um ein Zusammenbrechen zu verhindern. Die Net-Verse-Schränke von Panduit beinhalten integriertes Kabelmanagement für 900 kg, mit verstellbaren Fingern alle 1U zur Aufrechterhaltung der korrekten Führung.³⁴

Glasfaserkabel reduzieren das Gewicht, führen aber Bruchempfindlichkeit ein. Ein einzelner 400G optischer Transceiver kostet $2.000-4.000, und die verbindenden Glasfaserkabel sind leicht zu beschädigen.³⁵ Der minimale Biegeradius erhöht sich auf das 20-fache des Kabeldurchmessers für Singlemode-Glasfaser. Techniker benötigen spezielle Schulung, um Glasfaser ohne Mikrobiegungen zu handhaben, die die Signalqualität verschlechtern. Saubere Verbindungen werden kritisch, da ein einzelnes Staubpartikel 50% Signalverlust verursachen kann.

Kabel-Lifecycle-Management verhindert teure Ausfallzeiten. Jedes Kabel benötigt Dokumentation einschließlich Installationsdatum, Testergebnisse und Wartungshistorie. Introl setzt RFID-Tags an jedem Kabel ein, die sofortige Identifikation mit Handscannern ermöglichen. Unsere Kabelmanagement-Datenbank verfolgt 50 Millionen einzelne Verbindungen über weltweite Installationen. Prädiktive Analytik identifiziert Kabel, die sich dem Versagen nähern, basierend auf Biegeradius-Verletzungen, Temperaturbelastung und Alter.

Redundanzarchitektur gewährleistet kontinuierlichen Betrieb

Single Points of Failure werden bei 100kW-Skalierung katastrophal. Ein PDU-Ausfall würde GPUs im Wert von $5 Millionen zum Absturz bringen. Ein Kühlpumpenausfall würde innerhalb von 60 Sekunden zur thermischen Abschaltung führen. Traditionelle N+1-Redundanz erweist sich als unzureichend, wenn die Auswirkungen eines Ausfalls sich verzehnfachen. Moderne 100kW-Installationen erfordern 2N-Redundanz für Strom und Kühlung, wobei 50% ungenutzte Kapazität als Versicherung gegen Ausfallzeiten akzeptiert werden.

Stromredundanz beginnt am Netzanschluss mit dualen Einspeisungen von separaten Umspannwerken. Automatische Transferschalter (ATS) wechseln nahtlos zwischen