Membangun Rak GPU 100kW+: Arsitektur Distribusi Daya dan Pendinginan

Diperbarui 8 Desember 2025

Pembaruan Desember 2025: Rak 100kW kini menjadi standar, bukan lagi aspirasi. Sistem NVIDIA GB200 NVL72 beroperasi pada 120kW per rak, dengan Vera Rubin NVL144 menargetkan 600kW per rak pada 2026. Densitas rak telah naik dari 40kW menjadi 130kW, berpotensi mencapai 250kW pada 2030. Adopsi pendinginan cair mencapai 22% dari pusat data, dengan direct-to-chip menguasai 47% pangsa pasar. Organisasi yang merencanakan deployment 100kW saat ini harus mempersiapkan diri untuk pertumbuhan densitas 2-5x ke depan.

Satu rak 100kW mengonsumsi daya setara 80 rumah tangga Amerika, menghasilkan panas setara 30 tungku pemanas residensial, dan beratnya melebihi tiga mobil Toyota Camry.¹ Namun organisasi di seluruh dunia berlomba membangun monster-monster ini karena pelatihan AI modern membutuhkan densitas komputasi yang belum pernah ada sebelumnya. Tantangan teknis ini menghancurkan setiap asumsi yang memandu desain pusat data selama tiga dekade terakhir.

Fasilitas Azure terbaru Microsoft men-deploy rak 100kW sebagai konfigurasi standar, bukan eksperimen.² CoreWeave membangun seluruh pusat data dengan spesifikasi rak 120kW.³ Oracle Cloud Infrastructure mendorong menuju densitas 150kW di region generasi berikutnya.⁴ Desain rak tradisional 5-10kW tampak ketinggalan zaman saat organisasi menemukan bahwa kapabilitas AI yang kompetitif membutuhkan densitas ekstrem atau lahan yang sangat luas.

Matematika infrastruktur AI membuat rak 100kW+ tidak terhindarkan. Sistem NVIDIA DGX H100 menarik 10,2kW untuk delapan GPU.⁵ DGX B200 yang akan datang akan mengonsumsi 14,3kW per node.⁶ Susun delapan node untuk cluster pelatihan yang bermakna, dan konsumsi daya melebihi 100kW sebelum memperhitungkan peralatan jaringan. Organisasi yang tidak dapat membangun rak-rak ini tidak dapat bersaing dalam pengembangan large language model, penemuan obat, atau pelatihan kendaraan otonom.

Arsitektur distribusi daya melampaui batas konvensional

Pusat data tradisional mendistribusikan daya tiga fase 208V melalui sirkuit 30-amp, menghasilkan sekitar 10kW per rak setelah derating. Rak 100kW akan membutuhkan sepuluh sirkuit terpisah, menciptakan mimpi buruk kabel tembaga yang melanggar setiap prinsip desain bersih. Amperage saja menghadirkan tantangan yang tidak dapat diatasi: mengantarkan 100kW pada 208V membutuhkan 480 amp, menuntut kabel lebih tebal dari tongkat baseball.

Deployment 100kW modern mewajibkan distribusi 415V atau 480V untuk mengurangi kebutuhan arus. Pada tiga fase 480V, 100kW hanya membutuhkan 120 amp per sirkuit, dapat dikelola dengan konduktor 4/0 AWG.⁷ Fasilitas Eropa mendapat keuntungan melalui distribusi standar 415V, menjelaskan mengapa banyak hyperscaler memprioritaskan deployment di Nordik untuk infrastruktur berdensitas tinggi. Fasilitas Amerika Utara membutuhkan upgrade transformator dan penggantian switchgear, menambahkan $500.000-$1 juta per megawatt untuk biaya retrofit.⁸

Power distribution unit (PDU) berkembang menjadi sistem manajemen daya yang canggih untuk rak 100kW. Seri PX4 Raritan secara cerdas mengelola 60 outlet yang mengantarkan hingga 130kW, dengan monitoring per-outlet dan kemampuan switching jarak jauh.⁹ PDU HDOT Server Technology menyediakan input 415V dengan automatic transfer switching antara dual feed, memastikan operasi berkelanjutan selama kejadian utilitas.¹⁰ Setiap PDU berharga $15.000-25.000, dan sebagian besar rak 100kW membutuhkan dua untuk redundansi.

Sistem busway muncul sebagai alternatif superior dibanding distribusi kabel tradisional. Starline Track Busway mengantarkan 1.600 amp pada 415V melalui konduktor overhead, mendukung beberapa drop rak 100kW dari satu feed.¹¹ Biaya instalasi mencapai $1.000 per kaki linear, tetapi fleksibilitas untuk mengkonfigurasi ulang drop daya tanpa rewiring menghemat jutaan selama siklus hidup fasilitas. Sistem busway Sentron Siemens mencakup monitoring terintegrasi yang melacak kualitas daya dan memprediksi kebutuhan pemeliharaan melalui analisis harmonik.¹²

Distribusi arus searah menghilangkan beberapa tahap konversi yang membuang 10-15% daya yang diantarkan. Lawrence Berkeley National Laboratory mendemonstrasikan distribusi DC 380V mengurangi konsumsi total pusat data sebesar 7% sekaligus meningkatkan keandalan.¹³ Spesifikasi Open Compute Project merinci distribusi DC 48V langsung ke board server, menghilangkan power supply yang menghasilkan panas dan menempati ruang rak yang berharga.¹⁴ Fasilitas Prineville Facebook berjalan sepenuhnya pada distribusi DC, mencapai PUE 1,07 meskipun densitas komputasi ekstrem.¹⁵

Arsitektur pendinginan menuntut cairan di chip

Pendinginan udara menjadi mustahil secara fisik di atas 50kW per rak. Termodinamika tidak kenal kompromi: menghilangkan 100kW panas membutuhkan pemindahan 35.000 cubic feet per minute (CFM) udara dengan kenaikan suhu 20°F.¹⁶ Aliran udara tersebut akan menciptakan angin berkekuatan badai di cold aisle, secara harfiah meniup teknisi dari kakinya. Bahkan jika Anda bisa memindahkan udara sebanyak itu, daya kipas saja akan mengonsumsi 15-20kW, mengalahkan tujuan efisiensi.

Rear-door heat exchanger (RDHx) menyediakan pendinginan transisional untuk densitas 50-75kW. Unit ChilledDoor Motivair menghilangkan hingga 75kW per rak menggunakan sirkulasi air dingin melalui radiator yang dipasang di pintu.¹⁷ CHx750 CoolIT Systems mencapai kapasitas serupa dengan kipas kecepatan variabel yang beradaptasi dengan beban panas.¹⁸ Teknologi ini bekerja, tetapi densitas 100kW+ membanjiri bahkan desain RDHx paling canggih. Diferensial suhu yang diperlukan akan menciptakan risiko kondensasi yang mengancam keandalan peralatan.

Pendinginan cair langsung ke cold plate menjadi wajib untuk deployment 100kW+ sejati. InRackCDU Asetek mendistribusikan coolant pada 25°C langsung ke cold plate CPU dan GPU, menghilangkan hingga 120kW per rak.¹⁹ Sistem ini mempertahankan suhu chip di bawah 70°C bahkan pada beban maksimum, dibandingkan dengan 85-90°C dengan pendinginan udara. Suhu operasi yang lebih rendah mengurangi arus bocor, meningkatkan efisiensi energi 3-5% di luar penghematan pendinginan.²⁰

Pendinginan imersi merepresentasikan solusi ultimat untuk densitas ekstrem. SmartPodX Submer merendam seluruh server dalam cairan dielektrik, menangani 100kW hanya dalam 2,4 meter persegi ruang lantai.²¹ ICEraQ Series 10 GRC mendukung hingga 368kW per tangki, meskipun deployment praktis jarang melebihi 200kW.²² Ketiadaan kipas menghilangkan 10-15% konsumsi daya server sekaligus mengurangi tingkat kegagalan sebesar 70% melalui eliminasi komponen mekanis.²³

Pendinginan imersi dua fase mendorong batas lebih jauh. Cairan Fluorinert 3M mendidih pada suhu yang dikontrol secara presisi, dengan perubahan fase menyerap kuantitas panas yang sangat besar.²⁴ Uap naik ke kondensor di mana ia kembali ke keadaan cair, menciptakan sistem sirkulasi pasif yang tidak memerlukan pompa. Project Natick Microsoft mendemonstrasikan pendinginan dua fase mempertahankan suhu chip konsisten 35°C meskipun flux panas 250kW/m².²⁵ Teknologi ini masih eksperimental, tetapi fisika menyarankan ia bisa menangani 500kW+ per rak.

Rekayasa struktural menghadapi beban masif

Rak 100kW yang terisi penuh beratnya 6.000-8.000 pound, terkonsentrasi hanya dalam 10 kaki persegi.²⁶ Raised floor standar yang di-rating untuk 250 pound per kaki persegi runtuh di bawah beban seperti itu. Beratnya bukan hanya server: kabel tembaga saja menambahkan 500-800 pound, coolant menambahkan 200-300 pound lagi, dan struktur rak itu sendiri beratnya 500-1.000 pound. Zona seismik menghadapi tantangan tambahan karena 8.000 pound massa yang bergoyang dapat menghancurkan peralatan yang berdekatan selama gempa bumi.

Deployment slab-on-grade menghilangkan keterbatasan raised floor tetapi menciptakan tantangan baru. Beton harus diperkuat untuk menangani beban 1.000+ PSF dengan defleksi minimal.²⁷ Beton post-tensioned dengan rebar berlapis epoksi mencegah retak yang dapat membahayakan integritas struktural. Ketebalan slab meningkat menjadi 12-18 inci, dibandingkan dengan 6-8 inci untuk pusat data tradisional. Pekerjaan fondasi saja menambahkan $50-75 per kaki persegi untuk biaya konstruksi.²⁸

Kerangka baja struktural mendistribusikan beban ke area yang lebih luas. Introl mendesain platform baja kustom yang menyebarkan beban rak 100kW ke 40 kaki persegi, mengurangi beban titik ke tingkat yang dapat dikelola. Kerangka mencakup cable tray terintegrasi, manifold coolant, dan platform pemeliharaan. Desain modular memungkinkan instalasi tanpa downtime fasilitas, kritis untuk proyek retrofit. Setiap kerangka berharga $25.000-35.000 tetapi mencegah kegagalan lantai katastropik yang akan menghabiskan jutaan.

Sistem dukungan overhead menghilangkan pembebanan lantai sepenuhnya. Pusat data Facebook menangguhkan server dari rel yang dipasang di langit-langit, dengan daya dan pendinginan diantarkan dari atas.²⁹ Pendekatan ini membutuhkan tinggi langit-langit 18-20 kaki tetapi memungkinkan akses lantai tak terbatas untuk pemeliharaan. Sistem Evolution Cable Management Chatsworth Products mendukung 500 pound per kaki linear dari struktur overhead, cukup untuk distribusi daya dan coolant terberat.³⁰

Isolasi seismik menjadi kritis di zona gempa bumi. Platform ISO-Base WorkSafe Technologies menggunakan isolasi ball-bearing untuk melindungi peralatan selama kejadian seismik.³¹ Platform memungkinkan 12 inci pergerakan horizontal sambil mempertahankan stabilitas vertikal. Setiap platform mendukung 10.000 pound dan berharga $15.000-20.000, tetapi perusahaan asuransi semakin mewajibkan perlindungan seismik untuk peralatan komputasi bernilai tinggi di California, Jepang, dan zona aktif lainnya.

Manajemen kabel berlipat ganda secara eksponensial

Rak 100kW yang menampung 64 GPU membutuhkan lebih dari 500 kabel: 128 koneksi InfiniBand, 64 kabel jaringan manajemen, 96 kabel daya, ditambah puluhan koneksi sensor dan kontrol. Setiap kabel InfiniBand saja berharga $500-1.500 tergantung panjang dan data rate.³² Total biaya kabel per rak mendekati $100.000, dan manajemen yang buruk menghancurkan aliran udara dan serviceability.

Sinyal kecepatan tinggi menuntut routing kabel yang presisi untuk mempertahankan integritas sinyal. InfiniBand HDR yang berjalan pada 200Gbps mentoleransi kurang dari 3 inci panjang differential pair yang tidak sesuai.³³ Radius tekuk harus melebihi 10 kali diameter kabel untuk mencegah perubahan impedansi yang menyebabkan bit error. Introl menggunakan sistem pengukuran laser untuk memverifikasi panjang kabel dalam toleransi 1mm, mendokumentasikan setiap koneksi untuk troubleshooting masa depan.

Berat kabel menciptakan tantangan tak terduga. Lima ratus kabel dengan berat 2-3 pound masing-masing menambahkan 1.000-1.500 pound ke infrastruktur rak. Beratnya menyebabkan pintu rak melorot, membuatnya sulit dibuka. Vertical cable manager harus diperkuat untuk mencegah keruntuhan. Kabinet Net-Verse Panduit mencakup manajemen kabel terintegrasi yang di-rating untuk 2.000 pound, dengan finger yang dapat disesuaikan setiap 1U untuk mempertahankan routing yang tepat.³⁴

Kabel fiber optik mengurangi berat tetapi memperkenalkan kekhawatiran kerapuhan. Satu transceiver optik 400G berharga $2.000-4.000, dan kabel fiber yang menghubungkannya mudah rusak.³⁵ Radius tekuk minimum meningkat menjadi 20 kali diameter kabel untuk fiber single-mode. Teknisi membutuhkan pelatihan khusus untuk menangani fiber tanpa menyebabkan microbend yang menurunkan kualitas sinyal. Koneksi bersih menjadi kritis karena satu partikel debu dapat menyebabkan kehilangan sinyal 50%.

Manajemen siklus hidup kabel mencegah downtime yang mahal. Setiap kabel membutuhkan dokumentasi termasuk tanggal instalasi, hasil tes, dan riwayat pemeliharaan. Introl men-deploy tag RFID pada setiap kabel, memungkinkan identifikasi instan dengan scanner genggam. Database manajemen kabel kami melacak 50 juta koneksi individual di seluruh deployment global. Analitik prediktif mengidentifikasi kabel yang mendekati kegagalan berdasarkan pelanggaran radius tekuk, paparan suhu, dan usia.

Arsitektur redundansi memastikan operasi berkelanjutan

Single point of failure menjadi katastropik pada skala 100kW. Kegagalan PDU akan menghancurkan GPU senilai $5 juta. Kegagalan pompa pendingin akan menyebabkan shutdown termal dalam 60 detik. Redundansi N+1 tradisional terbukti tidak memadai ketika dampak kegagalan berlipat 10x. Deployment 100kW modern membutuhkan redundansi 2N untuk daya dan pendinginan, menerima 50% kapasitas terbuang sebagai asuransi terhadap downtime.

Redundansi daya dimulai di pintu masuk utilitas dengan dual feed dari substation terpisah. Automatic transfer switch (ATS) secara mulus bertransisi antara