Evolusi HBM: dari HBM3 ke HBM4 dan perang memori AI
Diperbarui 11 Desember 2025
Pembaruan Desember 2025: SK Hynix memimpin HBM dengan pangsa pasar 62% di Q2 2025 vs Micron (21%) dan Samsung (17%). Pasar HBM global tumbuh dari $38 miliar pada 2025 menjadi $58 miliar pada 2026. JEDEC merilis spesifikasi resmi HBM4 (April 2025) menggandakan interface menjadi 2.048 bit yang memungkinkan 2TB/s per stack. SK Hynix melampaui Samsung sebagai produsen DRAM terbesar di dunia untuk pertama kalinya dalam sejarah.
SK Hynix memimpin pasar HBM dengan pangsa 62% di Q2 2025, diikuti Micron di 21% dan Samsung di 17%.¹ Pasar HBM global akan tumbuh dari $38 miliar pada 2025 menjadi $58 miliar pada 2026.² JEDEC merilis spesifikasi resmi HBM4 pada April 2025, menggandakan lebar interface menjadi 2.048 bit dan memungkinkan bandwidth hingga 2 terabyte per detik per stack.³ High Bandwidth Memory menentukan batas atas performa akselerator AI—memory wall yang menentukan seberapa besar model dan seberapa cepat dapat berjalan.
Generasi HBM merepresentasikan kemenangan manufaktur dan packaging. Menumpuk die DRAM secara vertikal dengan through-silicon vias (TSV) dan menghubungkannya melalui interposer ke die GPU atau akselerator menciptakan bandwidth memori yang tidak mungkin dicapai dengan packaging DRAM tradisional. Setiap generasi meningkatkan kapasitas, bandwidth, dan tinggi stack sementara vendor bersaing dalam yield, kecepatan kualifikasi, dan hubungan pelanggan. Persaingan ini membentuk ulang industri memori, dengan SK Hynix melampaui Samsung sebagai produsen DRAM terbesar di dunia untuk pertama kalinya dalam sejarah.
HBM3: fondasi AI saat ini
HBM3, diperkenalkan pada 2022, membangun kemampuan bandwidth memori yang memungkinkan booming AI saat ini.⁴ Arsitekturnya menggandakan jumlah channel dari 8 menjadi 16 dibandingkan HBM2e, sementara data rate meningkat ke 6,4 gigabit per detik.⁵
Empat stack HBM3 yang terhubung ke prosesor melalui interface yang berjalan pada 6,4 gigabit per detik memberikan bandwidth agregat lebih dari 3,2 terabyte per detik.⁶ Bandwidth stack individual mencapai sekitar 819 gigabyte per detik dengan bus 1024-bit 8 GT/s.⁷
HBM3 mendukung stack 16 tingkat die DRAM berkapasitas 32 gigabit.⁸ Kemampuan stacking memungkinkan kapasitas memori mencapai 24-36 gigabyte per stack tergantung kepadatan die dan tinggi stack.⁹
Arsitektur 3D stacking mengurangi latensi dibandingkan DRAM tradisional melalui jalur sinyal yang lebih pendek dan akses paralel ke beberapa die secara bersamaan.¹⁰ Kombinasi perbaikan bandwidth, kapasitas, dan latensi menjadikan HBM3 teknologi memori yang memungkinkan large language model berbasis transformer pada skala besar.
GPU H100 NVIDIA menggunakan HBM3, menetapkan baseline performa yang menjadi target pesaing. Bandwidth memori memungkinkan tingkat utilisasi tensor core yang membenarkan premium harga H100 dibanding generasi sebelumnya.
HBM3E: mendorong batas
Produsen DRAM besar memperkenalkan perangkat HBM3E dengan data rate mencapai 9,6 gigabit per detik—50% lebih cepat dari HBM3.¹¹ Peningkatan bandwidth memungkinkan sekitar 1,2 terabyte per detik per stack, mendekati batas praktis interface 1024-bit.¹²
SK Hynix memimpin produksi massal dengan stack 12 tingkat die yang memberikan bandwidth 1,2+ terabyte per detik sambil tetap kompatibel mundur dengan controller HBM3.¹³ Kompatibilitas mundur menyederhanakan adopsi bagi vendor akselerator yang memperbarui spesifikasi memori antar generasi produk.
Micron mengumumkan memori HBM3E dengan kecepatan pemrosesan 9,6 gigabit per detik per pin, 24 gigabyte per cube 8 tingkat, dan transfer data pada 1,2 terabyte per detik.¹⁴ Kapasitas per stack meningkat sambil mempertahankan lebar interface yang ada.
Cadence mendemonstrasikan subsistem memori HBM3E yang berjalan pada 12,4 gigabit per detik pada tegangan nominal, dengan PHY produksi mendukung kecepatan DRAM hingga 10,4 gigabit per detik—1,33 terabyte per detik per perangkat.¹⁵ Demonstrasi menunjukkan headroom untuk kecepatan yang lebih tinggi dalam spesifikasi HBM3E.
H200 NVIDIA dan produk Blackwell awal menggunakan HBM3E. H200 memperluas kapasitas memori menjadi 141 gigabyte dibandingkan 80 gigabyte H100 sambil meningkatkan bandwidth secara proporsional. Blackwell B200 mencapai 192 gigabyte HBM3E pada bandwidth agregat 8 terabyte per detik.
Transisi dari HBM3 ke HBM3E menunjukkan kemampuan industri memori untuk mengekstrak performa tambahan dari arsitektur yang ada. Namun, keuntungan lebih lanjut memerlukan perubahan arsitektural yang diperkenalkan HBM4.
HBM4: generasi berikutnya
JEDEC merilis spesifikasi resmi HBM4 pada April 2025.¹⁶ Spesifikasi ini merepresentasikan perubahan arsitektural paling signifikan sejak HBM diperkenalkan, menggandakan lebar interface dari 1.024 bit menjadi 2.048 bit.¹⁷
HBM4 mendukung kecepatan transfer hingga 8 gigabit per detik melalui interface yang lebih lebar, dengan total bandwidth mencapai 2 terabyte per detik per stack.¹⁸ GPU dengan 8 perangkat HBM4 mencapai bandwidth memori agregat lebih dari 13 terabyte per detik.¹⁹
Interface yang lebih lebar memerlukan perubahan arsitektural di seluruh subsistem memori. HBM4 menggandakan jumlah channel independen per stack menjadi 32 dengan 2 pseudo-channel per channel.²⁰ Channel data 2.048-bit dibagi menjadi 32 channel 64-bit atau 64 pseudo-channel 32-bit, dibandingkan dengan 16 channel 64-bit HBM3.²¹
Tinggi stack meningkat menjadi maksimal 16 die dengan kepadatan die DRAM 24 gigabit atau 32 gigabit, memungkinkan kapasitas hingga 64 gigabyte per stack.²² Peningkatan kapasitas mengatasi jumlah parameter foundation model yang terus berkembang dan melebihi batas memori saat ini.
HBM4 mempertahankan kompatibilitas mundur dengan controller HBM3, memudahkan transisi bagi vendor akselerator.²³ Rambus HBM4 Memory Controller meningkatkan kecepatan sinyal yang didukung menjadi 10,0 gigabit per detik, menyediakan throughput 2,56 terabyte per detik per perangkat HBM4 pada rate maksimum.²⁴
Peningkatan reliabilitas mencakup Directed Refresh Management (DRFM) untuk mitigasi row-hammer yang lebih baik.²⁵ Fitur RAS (Reliability, Availability, Serviceability) yang ditingkatkan mengatasi kekhawatiran tentang reliabilitas DRAM pada suhu tinggi yang umum di akselerator AI.
HBM4E memperluas spesifikasi lebih jauh dengan data rate 10 gigabit per detik, bandwidth 2,5 terabyte per detik per stack, dan daya per-package hingga 80 watt.²⁶ Spesifikasi HBM4E menargetkan kerangka waktu 2027.
Persaingan produsen
SK Hynix menyelesaikan pengembangan HBM4 dan bersiap untuk manufaktur volume tinggi pada akhir 2025.²⁷ Stack HBM4 SK Hynix melampaui spesifikasi JEDEC sebesar 25% dalam performa, menampilkan data transfer rate 10 GT/s dibandingkan standar 8 GT/s.²⁸ Pengiriman volume dimulai pada awal 2026 setelah kualifikasi pelanggan akhir.²⁹
SK Hynix menjadi pemasok HBM utama NVIDIA, hubungan yang mendorong pertumbuhan pangsa pasar perusahaan.³⁰ Kemitraan dengan NVIDIA memposisikan SK Hynix untuk menangkap mayoritas permintaan memori AI bernilai tinggi.
Micron mulai mengirim sampel HBM4 pada Juni 2025, menyediakan stack 36 gigabyte 12 tingkat kepada pelanggan utama termasuk dilaporkan NVIDIA.³¹ Pada Q4 2025, Micron mengumumkan sampel HBM4 yang berjalan pada kecepatan di atas 11 gigabit per detik per pin, memberikan lebih dari 2,8 terabyte per detik per stack.³² Target waktu produksi massal adalah kalender 2026.³³
Micron mengamankan design win dengan NVIDIA untuk GPU Hopper H200 dan Blackwell B200, menumbuhkan pangsa pasar HBM dari sekitar 5% menuju target 20-25% pada akhir 2025.³⁴ Kualifikasi NVIDIA memvalidasi teknologi dan kemampuan manufaktur Micron.
Samsung bertujuan memulai produksi massal HBM4 pada paruh pertama 2026.³⁵ Pada Q3 2025, Samsung mulai mengirim volume besar sampel HBM4 ke NVIDIA untuk kualifikasi awal.³⁶ Samsung dilaporkan berfungsi sebagai pemasok HBM4 utama untuk akselerator MI450 AMD.³⁷
Pangsa pasar HBM Samsung anjlok dari 41% di Q2 2024 menjadi 17% di Q2 2025 karena perusahaan kesulitan lulus tes kualifikasi NVIDIA.³⁸ Samsung tetap sangat bergantung pada chip HBM3 generasi lama untuk penjualan HBM sementara pesaing mengirim HBM3E.³⁹ Analis memperkirakan posisi Samsung akan menguat saat part HBM3E lolos kualifikasi dan HBM4 memasuki pasokan skala penuh pada 2026.⁴⁰
Persaingan HBM membentuk ulang industri memori yang lebih luas. SK Hynix mengambil kepemimpinan untuk pertama kalinya di pasar DRAM keseluruhan, meraih pangsa 36% pendapatan di Q1 2025 dibandingkan 34% Samsung.⁴¹ Pembalikan kepemimpinan Samsung yang sudah lama berlangsung mencerminkan pangsa HBM yang terus berkembang dari total nilai DRAM.
Roadmap NVIDIA dan AMD
Roadmap resmi NVIDIA menunjukkan Rubin dengan 8 slot HBM4 dan Rubin Ultra dengan 16 slot HBM4.⁴² Interposer Rubin berukuran 2.194 milimeter persegi dan menampung kapasitas VRAM 288 hingga 384 gigabyte dengan total bandwidth 16-32 terabyte per detik.⁴³ Total daya chip mencapai 2.200 watt.⁴⁴
Kapasitas HBM diproyeksikan tumbuh dari 80 gigabyte HBM2E A100 menjadi 1.024 gigabyte HBM4E untuk Rubin Ultra.⁴⁵ Trajektori mencerminkan kebutuhan memori model yang mungkin mencapai puluhan triliun parameter.
Produksi Rubin berjalan sesuai rencana untuk paruh kedua 2026.⁴⁶ Kartu konsumer berbasis arsitektur ini diharapkan pada akhir 2026 atau awal 2027.⁴⁷ Timing memposisikan Rubin sebagai penerus Blackwell Ultra dalam jajaran data center NVIDIA.
AMD mengonfirmasi HBM4 untuk seri akselerator MI400.⁴⁸ Instinct MI400 AMD, diluncurkan pada 2026, menargetkan kapasitas HBM4 432 gigabyte dengan bandwidth memori hingga 19,6 terabyte per detik.⁴⁹ MI430X adalah akselerator AMD pertama yang menggunakan HBM4.⁵⁰
Generasi HBM4 menetapkan tier performa baru untuk kedua vendor. Peningkatan bandwidth dan kapasitas memori memungkinkan ukuran model dan throughput inferensi yang tidak dapat didukung HBM3E secara efisien.
Kendala memory wall
Pertumbuhan bandwidth memori tertinggal dari pertumbuhan kemampuan komputasi di akselerator AI. "Memory wall" membatasi seberapa efektif akselerator memanfaatkan sumber daya komputasi mereka. Evolusi HBM merepresentasikan respons utama industri terhadap kendala ini.
Large language model menunjukkan karakteristik memory-bound selama inferensi. Mekanisme attention memerlukan akses ke seluruh key-value cache untuk setiap token yang dihasilkan. Bandwidth memori menentukan seberapa cepat akses ini terjadi, secara langsung mempengaruhi throughput token-per-detik.
Workload training menghadapi kendala memori yang berbeda. Parameter model, gradient, optimizer state, dan aktivasi bersaing untuk kapasitas memori. Bandwidth memori mempengaruhi seberapa cepat data berpindah antar unit pemrosesan selama akumulasi gradient dan langkah optimisasi.
Bandwidth 2 terabyte per detik HBM4 dibandingkan 819 gigabyte per detik HBM3 merepresentasikan peningkatan 2,4x.⁵¹ Dikombinasikan dengan peningkatan kapasitas dari 36 gigabyte menjadi 64 gigabyte per stack, HBM4 mengatasi dimensi bandwidth dan kapasitas dari memory wall.
Namun, kemampuan komputasi meningkat lebih cepat dari bandwidth memori. Setiap generasi HBM menyediakan peningkatan bandwidth sekitar 2x sementara komputasi juga berlipat ganda setiap generasi. Memory wall mundur tetapi tidak pernah menghilang.
Generasi HBM masa depan—HBM5 hingga HBM8—memproyeksikan penskalaan bandwidth berkelanjutan melalui data rate yang lebih tinggi dan interface yang berpotensi lebih lebar.⁵² Roadmap berlanjut sepanjang dekade dengan target bandwidth mencapai 64 terabyte per detik per sistem.⁵³
Pertimbangan perencanaan infrastruktur
Kendala pasokan HBM mempengaruhi ketersediaan akselerator. Kekurangan HBM membatasi pengiriman GPU sepanjang 2023 dan 2024. Organisasi yang merencanakan deployment besar harus memahami bahwa pengadaan GPU bergantung pada kapasitas produsen memori.
Hubungan vendor menentukan akses. Hubungan SK Hynix-NVIDIA, positioning Samsung-AMD, dan upaya kualifikasi luas Micron menciptakan kompleksitas supply chain. Vendor akselerator tier kedua mungkin menghadapi lead time yang lebih panjang jika memori memprioritaskan pesanan hyperscaler.
Transisi HBM4 menciptakan pergeseran generasi pada akhir 2026. Organisasi yang deploy sekarang menerima sistem berbasis HBM3E. Mereka yang menunggu Rubin atau MI400 mendapatkan keunggulan HBM4. Timing mempengaruhi perencanaan infrastruktur multi-tahun.
Memor
[Konten dipotong untuk penerjemahan]
