Mengapa NVIDIA GB300 NVL72 (Blackwell Ultra) Penting 🤔

NVIDIA menggabungkan 72 GPU Blackwell Ultra dan 36 CPU Grace ke dalam unit skala-rack berpendingin cairan yang mengonsumsi sekitar 120 kW dan menghasilkan 1,1 exaFLOPS komputasi FP4 dengan GB300 NVL72—performa AI 1,5x lebih tinggi dari GB200 NVL72 asli [^2025]. Satu kabinet tersebut mengubah setiap asumsi tentang daya, pendinginan, dan pengkabelan di dalam data center modern. Inilah yang dipelajari insinyur deployment saat mereka mempersiapkan situs untuk pengiriman produksi GB300 NVL72 pertama.

1. Membedah rack

[caption id="" align="alignnone" width="1292"] ComponentCountKey specPower drawSourceGrace‑Blackwell compute trays18~6.5 kW each117 kW totalSupermicro 2025NVLink‑5 switch trays9130 TB/s aggregate fabric3.6 kW totalSupermicro 2025Power shelves8132 kW total DC output0.8 kW overheadSupermicro 2025Bluefield‑3 DPUs18Storage & security offloadIncluded in computeThe Register 2024 [/caption]

Kabinet memiliki berat sekitar 1,36 t (3.000 lb) dan menempati footprint yang sama dengan rack konvensional 42U [^2024]. GB300 NVL72 merepresentasikan Blackwell Ultra, menampilkan GPU B300 yang disempurnakan dengan memori HBM3e 288 GB per GPU (50% lebih besar dari B200 asli yang 192 GB) yang dicapai melalui stack HBM3e setinggi 12 bukannya 8. Setiap superchip kini memasangkan empat GPU B300 dengan dua CPU Grace, dibandingkan konfigurasi dua GPU asli. Setiap superchip Grace‑Blackwell memasangkan 72 core GPU Blackwell Ultra pada 2,6 GHz dengan CPU Arm Neoverse V2 72-core yang berjalan pada frekuensi dasar 3,1 GHz. Memori HBM3e terintegrasi menghasilkan 8 TB/s per GPU dengan kapasitas 288 GB.

Insight lapangan: Pusat gravitasi rack terletak 18% lebih tinggi dari server standar karena penempatan sumber daya komputasi yang padat di tray atas. Praktik terbaik kini merekomendasikan penguatan rel pemasangan dengan baut M12, bukan cage nut standar, untuk mengatasi getaran mikro yang diamati selama operasi beban penuh.

2. Memberi makan sang binatang: pengiriman daya

Rack GB300 NVL72 dikirim dengan rak PSU terintegrasi, memberikan efisiensi 94,5% pada beban penuh. Konsumsi puncak mencapai 120,8 kW selama beban kerja pelatihan mixed-precision—penganalisa kualitas daya biasanya mencatat faktor daya 0,97 dengan

Perbandingan topologi tegangan:

• 208V/60Hz: arus saluran 335A, memerlukan tembaga 4/0 AWG (107mm²)

• 415V/50‑60Hz: arus saluran 168A, hanya membutuhkan tembaga 70mm²

• 480V/60Hz: arus saluran 145A, deployment Amerika Utara minimal

Praktik terbaik industri melibatkan penyediaan dual feed tiga-fase 415V per rack melalui konektor IEC 60309 160A. Pilihan ini memotong kerugian I²R sebesar 75% dibandingkan 208V sambil mempertahankan kompatibilitas dengan standar fasilitas Eropa. Pengukuran lapangan menunjukkan bahwa panel pemutus biasanya tetap di bawah derating termal 85% di ruang 22°C.

Mitigasi harmonik: Rack GB300 NVL72 menunjukkan total distorsi harmonik 4,8% di bawah beban pelatihan AI tipikal. Deployment yang melebihi delapan rack biasanya memerlukan penyearah 12-pulsa pada transformator khusus untuk mempertahankan kepatuhan IEEE 519.

3. Playbook pendinginan: Realitas Rekayasa Termal

Setiap die GPU Blackwell Ultra berukuran 744 mm² dan menghilangkan hingga 1.000 W melalui antarmuka cold plate-nya. CPU Grace menambah 500W lainnya di 72 core-nya. Program IR7000 Dell menempatkan cairan sebagai jalur default untuk peralatan kelas Blackwell, mengklaim kapasitas per-rack hingga 480 kW dengan penukar panas pintu belakang tertutup [^2024].

Hirarki termal yang direkomendasikan:

• ≤80 kW/rack: Penukar panas pintu belakang dengan air suplai 18°C, laju alir 35 L/min

• 80–132 kW/rack: Loop Direct‑to‑chip (DTC) wajib, suplai 15°C, minimum 30 L/min

• 132 kW/rack: Pendinginan immersi atau konfigurasi split‑rack diperlukan

Spesifikasi DTC dari deployment lapangan:

• ΔT cold plate: 12–15°C pada beban penuh (suhu junction GPU 83–87°C)

• Pressure drop: 2,1 bar di seluruh loop lengkap dengan propilen glikol 30%

• Distribusi aliran: varians ±3% di semua 72 cold plate GPU

• Tingkat kebocoran:

Insight kritis: Jaringan pengiriman daya Blackwell Ultra menunjukkan transien skala mikrodetik, mencapai 1,4 kali daya steady-state selama sinkronisasi gradien. Praktik industri merekomendasikan ukuran pendinginan untuk 110% dari TDP terukur untuk menangani lonjakan termal ini tanpa throttling GPU.

4. Fabric jaringan: mengelola NVLink 5.0 dan konektivitas yang disempurnakan

Setiap GB300 NVL72 berisi 72 GPU Blackwell Ultra dengan NVLink 5.0, menyediakan bandwidth 1,8 TB/s per GPU dan total bandwidth NVLink 130 TB/s di seluruh sistem. NVLink generasi kelima beroperasi pada tingkat sinyal 200 Gbps per link, dengan 18 link per GPU. Sembilan chip NVSwitch merutekan lalu lintas ini dengan latensi switch 300 nanodetik dan mendukung pola komunikasi GPU-ke-GPU 576-way.

Konektivitas inter-rack kini menampilkan SuperNIC ConnectX-8 yang menyediakan konektivitas jaringan 800 Gb/s per GPU (dua kali lipat 400 Gb/s generasi sebelumnya), mendukung platform NVIDIA Quantum-X800 InfiniBand dan Spectrum-X Ethernet.

Arsitektur pengkabelan:

• Intra‑rack: 1.728 kabel Twinax tembaga (impedansi diferensial 100-ohm,

• Inter‑rack: 90 port QSFP112 melalui transceiver 800G di atas OM4 MMF

• Storage/management: 18 DPU Bluefield‑3 dengan dual link 800G masing-masing

Pengukuran lapangan:

• Budget optik: budget insertion loss 1,5 dB di atas span OM4 150m

• Performa BER:

• Densitas konektor: 1.908 terminasi per rack (termasuk daya)

Praktik terbaik melibatkan pengiriman rakitan trunk 144-fiber yang sudah diterminasi dengan polish APC dan memverifikasi setiap konektor dengan pengujian insertion-loss/return-loss sesuai standar TIA-568. Tim berpengalaman dua orang dapat menyelesaikan instalasi fiber GB300 NVL72 dalam rata-rata 2,8 jam—turun dari 7,5 jam ketika teknisi membangun kabel di lokasi.

Insight integritas sinyal: NVLink‑5 beroperasi dengan sinyal PAM‑4 25 GBd. Instalasi tipikal mempertahankan budget insertion loss 2,1 dB per koneksi Twinax dan

5. Checklist deployment yang teruji lapangan

Persyaratan struktural:

• Beban lantai: sertifikasi ≥21 kN/m² (~440 psf) untuk beban terdistribusi; dihitung dari rack 1.360 kg pada footprint 0,64 m². Catatan: NVIDIA tidak menerbitkan spek beban lantai resmi—verifikasi dengan insinyur struktural untuk instalasi spesifik Anda.

• Bracing seismik: Instalasi Zone 4 memerlukan X‑bracing tambahan per IBC 2021

• Isolasi getaran:

Infrastruktur daya:

• Dual feed 415V, 160A masing-masing, dengan monitoring sirkuit cabang Schneider PM8000

• Ukuran UPS: 150 kVA per rack (margin keamanan 125%) dengan topologi double-conversion online

• Grounding: Ground peralatan terisolasi dengan

Spesifikasi pendinginan:

• Kualitas coolant:

• Penggantian filter: 5 µm pleated setiap 1.000 jam, 1 µm final setiap 2.000 jam

• Deteksi kebocoran: Sensor cairan konduktif di semua fitting QDC dengan sensitivitas 0,1 mL

Inventori suku cadang:

• Satu tray NVSwitch (lead time: 6 minggu)

• Dua kartrid pompa CDU (MTBF: 8.760 jam)

• 20 transceiver QSFP112 (tingkat kegagalan lapangan: 0,02% tahunan)

• Material antarmuka termal darurat (Honeywell PTM7950, tabung 5g)

SLA remote-hands: Respons 4-jam di lokasi menjadi standar industri—mitra deployment terdepan mempertahankan target ini di beberapa negara dengan uptime >99%.

6. Karakterisasi performa di bawah beban produksi

Benchmark reasoning AI (dari laporan deployment awal):

• Model DeepSeek R1-671B: Hingga 1.000 token/detik throughput berkelanjutan

• Model parameter GPT‑3 175B: rata-rata 847 token/detik/GPU

• Stable Diffusion 2.1: 14,2 gambar/detik pada resolusi 1024×1024

• Pelatihan ResNet‑50 ImageNet: throughput berkelanjutan 2.340 sampel/detik

Penskalaan efisiensi daya:

• Utilisasi rack tunggal: 1,42 GFLOPS/Watt pada utilisasi GPU 95%

• Cluster 10-rack: 1,38 GFLOPS/Watt (overhead pendinginan mengurangi efisiensi)

• Daya idle jaringan: 3,2 kW per rack (NVSwitch + transceiver)

Peningkatan performa reasoning AI: GB300 NVL72 menghasilkan peningkatan 10x dalam token per detik per pengguna dan peningkatan 5x dalam TPS per megawatt dibandingkan Hopper, menghasilkan peningkatan potensial gabungan 50x dalam performa output AI factory.

Efek siklus termal: Setelah 2.000 jam operasi produksi, deployment awal melaporkan degradasi performa 0,3% karena pump-out material antarmuka termal. Penggantian TIM terjadwal pada interval 18-bulan mempertahankan performa puncak.

7. Analisis TCO cloud versus on-prem

Lambda menawarkan GPU B200 serendah $2,99 per jam GPU dengan komitmen multi-tahun (Lambda 2025). Pemodelan keuangan yang menggabungkan biaya fasilitas riil dari deployment industri menunjukkan:

Breakdown biaya per rack selama 36 bulan:

• CapEx hardware: $3,7-4,0M (termasuk suku cadang dan tooling) untuk GB300 NVL72

• Daya fasilitas: $310K @ $0,08/kWh dengan utilisasi rata-rata 85%

• Infrastruktur pendinginan: $180K (CDU, perpipaan, kontrol)

• Staf operasi: $240K (biaya fully-loaded 0,25 FTE)

• Total: $4,43-4,73M vs setara cloud $4,7M

Breakeven terjadi pada tingkat utilisasi rata-rata 67% selama 18 bulan, dengan mempertimbangkan depresiasi, pembiayaan, dan biaya peluang. CFO enterprise mendapat prediktabilitas anggaran sambil menghindari vendor lock-in cloud.

8. GB300 vs GB200: Memahami Blackwell Ultra

[caption id="" align="alignnone" width="1920"] Previous gen GB200 pictured [/caption]

GB300 NVL72 (Blackwell Ultra) merepresentasikan evolusi signifikan dari GB200 NVL72 asli. Peningkatan kunci mencakup performa komputasi AI 1,5x lebih tinggi, memori HBM3e 288 GB per GPU (vs 192 GB), dan fokus yang disempurnakan pada inferensi penskalaan test-time untuk aplikasi reasoning AI.

Arsitektur baru menghasilkan peningkatan 10x dalam token per detik per pengguna dan peningkatan 5x dalam TPS per megawatt dibandingkan Hopper, menghasilkan peningkatan potensial gabungan 50x dalam output AI factory. Ini membuat GB300 NVL72 dioptimalkan secara khusus untuk era reasoning AI yang muncul, di mana model seperti DeepSeek R1 memerlukan komputasi yang jauh lebih besar selama inferensi untuk meningkatkan akurasi.

Timeline ketersediaan: Sistem GB300 NVL72 diharapkan dari mitra di paruh kedua 2025, dibandingkan GB200 NVL72 yang tersedia sekarang.

9. Mengapa Fortune 500 Memilih Mitra Deployment Khusus

Spesialis deployment terdepan telah menginstal lebih dari 100.000 GPU di lebih dari 850 data center, mempertahankan service-level agreement (SLA) global 4-jam melalui tim teknik lapangan yang ekstensif. Industri telah menugaskan ribuan mil fiber dan beberapa megawatt infrastruktur AI khusus sejak 2022.

Metrik deployment terbaru:

• Timeline rata-rata site-prep: 6,2 minggu (turun dari rata-rata industri 11 minggu)

• Tingkat keberhasilan first-pass: 97,3% untuk pengujian power-on

• Masalah post-deployment: tingkat kegagalan komponen 0,08% dalam 90 hari pertama

OEM mengirim hardware; mitra khusus mengubah hardware menjadi infrastruktur produksi. Melibatkan tim deployment berpengalaman selama fase perencanaan dapat mengurangi timeline sebesar 45% melalui penggunaan harness daya prefabrikasi, loop pendinginan pre-staged, dan bundel fiber yang diterminasi pabrik.

Pemikiran penutup

Kabinet GB300 NVL72 merepresentasikan pergeseran fundamental dari "server dalam rack" ke "data center dalam kabinet." Fisikanya tidak kenal ampun: densitas komputasi 120 kW menuntut presisi dalam setiap koneksi daya, loop pendinginan, dan terminasi fiber. Kuasai fundamental rekayasa pada Hari 0, dan Blackwell Ultra akan memberikan performa reasoning AI yang transformatif selama bertahun-tahun mendatang.

Siap mendiskusikan detail teknis yang tidak bisa kami muat dalam 2.000 kata? Insinyur deployment kami berkembang dalam percakapan ini—jadwalkan deep dive teknis di solutions@introl.com.

Referensi

Dell Technologies. 2024. "Dell AI Factory Transforms Data Centers with Advanced Cooling, High-Density Compute and AI Storage Innovations." Press release, October 15. Dell Technologies Newsroom

Introl. 2025. "GPU Infrastructure Deployments and Global Field Engineers." Accessed June 23. introl.com

Lambda. 2025. "AI Cloud Pricing - NVIDIA B200 Clusters." Accessed June 23. Lambda Labs Pricing

NVIDIA. 2025. "GB300 NVL72 Product Page." Accessed June 23. NVIDIA Data Center

NVIDIA. 2025. "NVIDIA Blackwell Ultra AI Factory Platform Paves Way for Age of AI Reasoning." Press release, March 18. NVIDIA News

Supermicro. 2025. "NVIDIA GB300 NVL72 SuperCluster Datasheet." February. Supermicro Datasheet

The Register. 2024. Mann, Tobias. "One Rack, 120 kW of Compute: A Closer Look at NVIDIA's DGX GB200 NVL72 Beast." March 21. The Register

Koreksi (9 Januari 2026): Spesifikasi beban lantai dikoreksi dari "14 kN/m² (2.030 psf)" menjadi "21 kN/m² (~440 psf)" — yang asli mengandung kesalahan konversi unit. Juga diperjelas bahwa ini adalah nilai terhitung berdasarkan berat rack dan footprint, bukan spesifikasi resmi NVIDIA. Impedansi Twinax dikoreksi dari 75-ohm menjadi diferensial 100-ohm. Terima kasih kepada Diana yang menangkap kesalahan beban lantai.