Rak Densitas Tinggi: Desain 100kW+ untuk Infrastruktur Pusat Data AI

Diperbarui 11 Desember 2025

Pembaruan Desember 2025: Rata-rata rak AI berharga $3,9 juta pada 2025 vs $500 ribu untuk rak tradisional—peningkatan 7x lipat. Rak GB200NVL72 mencapai 132kW; Blackwell Ultra dan Rubin menargetkan 250-900kW dengan 576 GPU/rak pada 2026-2027. NVIDIA OCP 2025 mengungkap desain rak 1MW. Eaton Heavy-Duty SmartRack mendukung beban statis 5.000 lbs untuk AI. Membangun infrastruktur 100kW memerlukan biaya $200-300 ribu/rak.

Rata-rata rak AI akan berharga $3,9 juta pada 2025, dibandingkan dengan $500.000 untuk rak server tradisional.¹ Peningkatan biaya tujuh kali lipat tersebut mencerminkan transformasi fundamental dalam persyaratan rak seiring GPU yang melampaui ambang 1.000 watt mendorong kepadatan daya rak melampaui 100kW menuju 1MW.² Server AI NVIDIA Blackwell Ultra dan Rubin akan membutuhkan antara 250 dan 900kW dengan hingga 576 GPU per rak pada 2026-2027.³ Infrastruktur rak yang menampung sistem-sistem ini harus berkembang sesuai, dengan penguatan struktural, integrasi pendinginan cair, dan kemampuan distribusi daya yang tidak pernah diantisipasi oleh enclosure tradisional.

Pasar rak pusat data diproyeksikan tumbuh menjadi $9,41 miliar pada 2033 seiring beban kerja AI membentuk ulang persyaratan infrastruktur fisik.⁴ Berbeda dengan pusat data tradisional yang menangani 10-15kW per rak, fasilitas AI membutuhkan antara 40-250kW per rak untuk mendukung tuntutan komputasi machine learning.⁵ Organisasi yang merencanakan infrastruktur AI harus mengevaluasi spesifikasi rak terhadap persyaratan GPU saat ini dan yang diproyeksikan, bukan berdasarkan asumsi lama tentang kepadatan daya dan kapasitas beban.

Evolusi kepadatan daya menuntut desain rak baru

Lonjakan ke 100kW+ per rak mewakili evolusi sekaligus revolusi dalam infrastruktur pusat data.⁶ Rak tradisional yang dirancang untuk beban 5-10kW tidak dapat mendukung persyaratan daya server GPU modern dengan aman tanpa perubahan arsitektur fundamental.

Rentang kepadatan saat ini mencakup skenario deployment yang luas. Cluster training AI densitas tinggi membutuhkan rak 40-60kW. Beban kerja large language model menuntut setidaknya 70kW. Aplikasi supercomputing untuk keamanan nasional dan riset AI menarik 100kW atau lebih.⁷ Trajektori terus meningkat.

Persyaratan sistem NVIDIA mendefinisikan benchmark infrastruktur. Desain rak GB200NVL72 yang diperkenalkan pada 2024 mencapai kepadatan daya puncak 132kW.⁸ Sistem Blackwell Ultra dan Rubin masa depan membutuhkan hingga 900kW dengan 576 GPU per rak.⁹ Keynote pembuka NVIDIA di OCP 2025 mengungkap rak AI generasi berikutnya yang menuntut hingga 1MW.¹⁰

Arsitektur distribusi daya beradaptasi dengan peningkatan kepadatan. Sentralisasi rektifikasi mengkonversi AC ke DC lebih dekat ke sumber, kemudian mendistribusikan DC tegangan tinggi langsung ke rak, mengurangi kerugian dan meningkatkan PUE.¹¹ Hyperscaler termasuk Meta, Google, dan Microsoft menerapkan distribusi tegangan menengah hingga 13,8kV dan arsitektur DC tegangan lebih tinggi pada 400VDC dan 800VDC.¹²

Implikasi biaya terbukti signifikan. Membangun infrastruktur berkemampuan 100kW baru memerlukan biaya $200.000-300.000 per rak tetapi menyediakan landasan untuk pertumbuhan masa depan.¹³ Retrofit fasilitas yang ada untuk kepadatan 40kW memerlukan biaya $50.000-100.000 per rak.¹⁴ Skala investasi membutuhkan perencanaan kapasitas yang cermat.

Persyaratan struktural untuk deployment padat

Kapasitas beban menjadi kritis seiring server GPU melampaui massa server tradisional. Server AI mengemas komponen yang lebih padat, heatsink yang lebih besar, dan perangkat keras pendinginan cair yang tidak dapat didukung dengan aman oleh rak lama.

Kapasitas beban statis harus mengakomodasi konfigurasi yang terisi penuh. Eaton meluncurkan enclosure Heavy-Duty SmartRack pada Oktober 2024 khusus untuk AI, dengan kapasitas beban statis hingga 5.000 lbs.¹⁵ Kedalaman diperpanjang 54 inci mengakomodasi server AI yang lebih besar yang umum dalam deployment GPU.¹⁶ Rak standar yang dirancang untuk beban 2.000-3.000 lb memerlukan penilaian sebelum deployment server AI.

Beban lantai menuntut evaluasi fasilitas. Berat CDU saat terisi dapat mencapai 3 ton, membutuhkan kapasitas beban lantai 800kg/m².¹⁷ Dikombinasikan dengan berat server dan infrastruktur pendinginan cair, total beban lantai mungkin melampaui spesifikasi pusat data tradisional.

Kedalaman rak melampaui dimensi standar. Server NVIDIA HGX dan platform serupa membutuhkan enclosure yang lebih dalam dari yang disediakan rak kedalaman standar 42 inci.¹⁸ Perencanaan untuk kedalaman yang diperpanjang mempengaruhi jarak lorong, tata letak fasilitas, dan routing kabel.

Integrasi manajemen termal mempengaruhi desain struktural. Rak berdaya tinggi menghasilkan plume panas yang membutuhkan jalur aliran udara tanpa gangguan.¹⁹ NVIDIA merekomendasikan penempatan dua server di bawah, celah kosong 3-6U, kemudian dua server di atas untuk konfigurasi pendinginan udara yang dioptimalkan.²⁰ Tata letak rak secara langsung mempengaruhi efektivitas pendinginan.

Persyaratan integrasi pendinginan cair

Rak yang melayani beban kerja AI harus mengakomodasi infrastruktur pendinginan cair yang tidak pernah diantisipasi oleh enclosure berpendingin udara. Integrasi menambah kompleksitas pada pemilihan rak dan perencanaan fasilitas.

Dukungan cold plate membutuhkan integrasi manifold. Pendinginan direct-to-chip membawa cairan pendingin ke sumber panas CPU dan GPU, membuang 30-40kW per rak.²¹ Rak harus menyediakan titik pemasangan, jalur routing, dan penampungan kebocoran untuk distribusi fluida dalam enclosure.

Pemasangan rear door heat exchanger memungkinkan pendinginan hybrid. Sistem RDHx dipasang di belakang rak, membuang hingga 120kW per rak dalam konfigurasi terbaru.²² Spesifikasi struktural rak harus mendukung berat RDHx dan koneksi pipa.

Kompatibilitas immersion memungkinkan kepadatan tertinggi. Pendinginan immersion merendam sistem dalam fluida dielektrik, menangani 50-100kW sambil menghilangkan kipas.²³ Beberapa deployment menggunakan tangki immersion skala rak daripada enclosure tradisional, membutuhkan perencanaan fasilitas yang berbeda.

Arsitektur hybrid menggabungkan pendekatan pendinginan. Desain umum 2025 melibatkan 70% pendinginan cair dan 30% pendinginan udara, dengan rak berfungsi sebagai titik integrasi.²⁴ Rak harus mengakomodasi kedua modalitas pendinginan secara bersamaan.

Spesifikasi laju aliran menentukan kemampuan pendinginan. Standar industri 1,2 LPM/kW pada suhu inlet 45°C berarti rak 85kW membutuhkan CDU dan heat exchanger yang mendukung aliran 102 LPM dengan pendinginan ke 45°C.²⁵ Pipa rak tidak boleh membatasi laju aliran yang dibutuhkan.

Spesifikasi OCP Open Rack

Open Compute Project mendefinisikan standar rak yang mengoptimalkan efisiensi hyperscale. Persyaratan beban kerja AI mendorong evolusi spesifikasi yang berkelanjutan.

Open Rack V3 (ORV3) menetapkan fondasi. Meta mendefinisikan dan menerbitkan spesifikasi dasar pada 2022 dengan kontribusi dari Google dan Rittal.²⁶ Lebar 21 inci melampaui standar EIA 19 inci, memungkinkan peningkatan aliran udara yang signifikan.²⁷ Spesifikasi power shelf, rectifier, dan battery backup memungkinkan distribusi daya terintegrasi.

Open Rack Wide (ORW) menangani AI generasi berikutnya. Meta memperkenalkan spesifikasi ORW di OCP 2025 sebagai standar rak lebar ganda open-source yang dioptimalkan untuk tuntutan daya, pendinginan, dan kemudahan servis sistem AI generasi berikutnya.²⁸ Spesifikasi tersebut mewakili pergeseran mendasar menuju desain pusat data yang terstandarisasi, dapat dioperasikan bersama, dan terukur.²⁹

Mt Diablo (Diablo 400) spesifikasi mendeskripsikan sidecar power-rack untuk cluster AI. Ditulis bersama oleh Google, Meta, dan Microsoft, spesifikasi tersebut mendefinisikan rak daya terdisagregasi yang mendorong pengiriman daya melampaui konfigurasi 48V tradisional.³⁰ Delta Electronics memperkenalkan ekosistem "AI Power Cube" 800VDC yang dikembangkan bersama NVIDIA untuk menyuplai daya rak AI skala 1,1MW.³¹

Spesifikasi Clemente mendeskripsikan compute tray yang mengintegrasikan NVIDIA GB300 Host Processor Module ke dalam form factor untuk kasus penggunaan training dan inference AI/ML Meta.³² Spesifikasi tersebut mewakili deployment pertama menggunakan OCP ORv3 HPR dengan sidecar power rack.

Implementasi industri menunjukkan nilai spesifikasi. AMD mengumumkan sistem referensi skala rak "Helios" yang dibangun di atas standar terbuka ORW.³³ Persiapan Rittal Open Rack V3 untuk pendinginan cair langsung menangani disipasi panas high-performance computing dan teknologi AI.³⁴

Solusi vendor untuk deployment rak AI

Vendor infrastruktur besar meluncurkan produk rak khusus AI sepanjang 2024-2025.

Schneider Electric meluncurkan NetShelter Rack densitas tinggi pada Juni 2025 diikuti oleh sistem rak baru terinspirasi OCP yang mendukung arsitektur MGX NVIDIA.³⁵ Produk-produk tersebut terintegrasi dengan portofolio distribusi daya dan pendinginan Schneider.

Eaton enclosure Heavy-Duty SmartRack menargetkan deployment AI dengan kapasitas beban statis 5.000 lb dan kedalaman diperpanjang 54 inci.³⁶ Spesifikasi menangani server yang lebih besar dan lebih berat yang umum dalam infrastruktur GPU.

Supermicro menawarkan solusi pendinginan cair skala rak dengan daya dan pendinginan hingga 100kW per rak, sepenuhnya divalidasi di tingkat sistem, rak, dan cluster dengan lead time yang dipercepat.³⁷ Solusi terintegrasi dengan portofolio server GPU Supermicro.

Rittal menyediakan rak yang sesuai dengan OCP ORV3 dengan persiapan pendinginan cair yang menangani persyaratan disipasi panas teknologi AI.³⁸ Produk mendukung integrasi pendinginan cair langsung.

Legrand mencapai peningkatan pendapatan 24% dari portofolio infrastruktur pusat data yang berfokus pada AI di H1 2025, melakukan tujuh akuisisi yang menambahkan €500 juta dalam pendapatan tahunan.³⁹ Pendapatan pusat data perusahaan diproyeksikan melebihi €2 miliar pada 2025.⁴⁰

Pertimbangan infrastruktur jaringan

Cluster AI membutuhkan kepadatan infrastruktur fiber lima kali lebih banyak dari pusat data konvensional.⁴¹ Pemilihan rak harus mengakomodasi kepadatan kabel yang dituntut oleh jaringan AI.

InfiniBand dan Ethernet kecepatan tinggi pengkabelan membutuhkan kapasitas routing. Cluster AI bergantung pada jaringan bandwidth ultra-tinggi, latensi rendah (400Gbps+ Ethernet atau InfiniBand XDR) untuk menyinkronkan GPU di seluruh server.⁴² Fabric jaringan menyerupai desain superkomputer dengan 4-5x lebih banyak interkoneksi fiber per rak.⁴³

Integrasi manajemen kabel mempengaruhi pemilihan rak. Aksesori manajemen kabel standar yang dirancang untuk 10-20 kabel per rak tidak dapat mengakomodasi ratusan koneksi kecepatan tinggi yang dibutuhkan jaringan AI. Evaluasi kapasitas manajemen kabel rak sebelum pengadaan.

Routing overhead versus underfloor mempengaruhi penempatan rak. Kepadatan kabel AI mungkin melampaui kapasitas raised floor tradisional, mendorong adopsi manajemen kabel overhead. Tinggi rak harus mengakomodasi routing overhead sambil mempertahankan kemudahan servis.

Perencanaan untuk pertumbuhan kepadatan

Organisasi yang menerapkan infrastruktur AI harus mengukur investasi rak untuk pertumbuhan yang diharapkan daripada persyaratan saat ini.

Kesadaran roadmap GPU menginformasikan perencanaan kapasitas. Progresi NVIDIA dari H100 (700W) ke Blackwell (1000W+) ke Rubin (lebih tinggi) melanjutkan eskalasi kepadatan. Rak yang diterapkan untuk GPU saat ini harus mengakomodasi persyaratan daya generasi berikutnya.

Distribusi daya modular memungkinkan peningkatan kapasitas bertahap. Distribusi PDU-per-rak versus busway mempengaruhi bagaimana kapasitas berkembang. Rencanakan arsitektur daya bersamaan dengan pemilihan rak.

Headroom pendinginan mencegah komputasi yang terbengkalai. Rak dengan kemampuan pendinginan cair bahkan untuk deployment awal berpendingin udara memungkinkan transisi seiring meningkatnya kepadatan. Biaya tambahan terbukti minor dibandingkan dengan penggantian rak.

Efisiensi ruang lantai bertambah pada skala. Rak densitas lebih tinggi mengurangi total jumlah rak untuk kapasitas komputasi yang setara. Lebih sedikit rak berarti lebih sedikit ruang lantai, jalur kabel lebih pendek, dan fasilitas yang berpotensi lebih kecil.

Tim engineering global Introl menerapkan infrastruktur rak densitas tinggi untuk instalasi AI di 257 lokasi, dari deployment server GPU awal hingga fasilitas 100.000 akselerator. Pemilihan rak secara langsung mempengaruhi efisiensi fasilitas dan kapasitas untuk generasi GPU masa depan.

Fondasi infrastruktur

Rak mewakili fondasi fisik untuk investasi infrastruktur AI. Enclosure yang menampung server GPU dan peralatan jaringan senilai $3,9 juta harus mendukung investasi tersebut dengan aman sambil memungkinkan infrastruktur pengiriman daya dan pendinginan yang dibutuhkan sistem-sistem tersebut.