Ekspansi Memori CXL: Mendobrak Batas Memori di Pusat Data AI

Diperbarui 11 Desember 2025

Update Desember 2025: Microsoft meluncurkan instance cloud pertama dengan CXL pada November 2025. Spesifikasi CXL 4.0 menggandakan bandwidth menjadi 128GT/s. Pasar CXL diproyeksikan mencapai $15 miliar pada 2028 ($12 miliar+ DRAM di belakang CXL). KV cache dengan CXL memberikan peningkatan throughput 21,9x, energi per token 60x lebih rendah. Pool CXL komersial mencapai 100TiB pada 2025.

Bottleneck memori membunuh performa AI. Model bahasa besar secara rutin membutuhkan 80 hingga 120GB per GPU hanya untuk KV cache saja, membebani bahkan akselerator dengan HBM termahal sekalipun.¹ Teknologi ekspansi memori Compute Express Link (CXL) secara langsung mengatasi krisis kapasitas memori dengan memungkinkan server mengakses pool memori di luar batas DRAM yang terpasang di CPU. Dengan Microsoft meluncurkan instance cloud pertama dengan CXL di industri pada November 2025 dan spesifikasi CXL 4.0 yang menggandakan bandwidth menjadi 128GT/s, arsitektur memori disagregasi beralih dari konsep riset menjadi realitas produksi.²

Pasar mencerminkan urgensi ini. Proyeksi pendapatan pasar CXL mencapai $15 miliar pada 2028, dengan DRAM di belakang CXL diperkirakan merupakan lebih dari $12 miliar dari total tersebut.³ Bagi organisasi yang men-deploy infrastruktur AI dalam skala besar, memahami kemampuan ekspansi memori CXL menentukan apakah sistem dapat menangani beban kerja generasi berikutnya tanpa upgrade hardware yang terus-menerus.

Cara kerja ekspansi memori CXL sebenarnya

CXL beroperasi sebagai protokol interkoneksi cache-coherent yang berjalan di atas layer fisik PCIe standar. Teknologi ini mempertahankan koherensi penuh antara cache CPU dan perangkat memori eksternal, memungkinkan aplikasi mengakses memori yang terpasang pada CXL dengan model pemrograman yang sama seperti DRAM lokal.⁴ Tiga sub-tipe protokol menangani interaksi perangkat yang berbeda: CXL.io mengelola transaksi bergaya PCIe, CXL.cache memungkinkan perangkat meng-cache memori host, dan CXL.mem memungkinkan host mengakses memori yang terpasang pada perangkat.⁵

Perangkat memory expander, yang ditetapkan sebagai CXL Type-3, menghubungkan modul DDR5 ke server melalui slot PCIe atau form factor EDSFF. Controller CXL modern menambahkan latensi sekitar 70 nanodetik dibandingkan dengan DRAM yang terpasang langsung.⁶ Meskipun substansial, latensi memori CXL 20x hingga 50x lebih cepat daripada penyimpanan NVMe, mengisi tier performa kritis antara memori host yang cepat dan akses disk yang lambat.⁷

Evolusi spesifikasi berlangsung cepat. CXL 2.0 memperkenalkan memory pooling, memungkinkan beberapa host mengakses perangkat memori bersama dengan alokasi yang berbeda.⁸ CXL 3.0 mengaktifkan shared memory sejati, di mana beberapa host secara bersamaan mengakses segmen memori yang sama dengan tampilan data yang konsisten.⁹ Rilis CXL 4.0 pada November 2025 menggandakan bandwidth dari 64GT/s menjadi 128GT/s sambil mempertahankan format FLIT 256-byte, memungkinkan hingga 1,536TB/s total bandwidth bidireksional pada link x16 melalui fitur bundled ports yang baru.¹⁰

Memory pooling mengubah ekonomi server

Arsitektur server tradisional memaksa operator ke dalam trade-off yang sulit. Kebutuhan memori sangat bervariasi antar beban kerja, namun server dikirim dengan konfigurasi DRAM tetap. Memori rata-rata sekitar 30% dari nilai server pada 2022 dan proyeksi mendorong angka tersebut di atas 40% pada 2025.¹¹ Organisasi secara rutin melakukan overprovision memori untuk menangani beban puncak, membiarkan DRAM mahal terbengkalai selama periode utilisasi rata-rata.

CXL memory pooling secara fundamental mengubah persamaan ini. Beberapa server berbagi akses ke pool memori terpusat, mengalokasikan kapasitas secara dinamis berdasarkan permintaan beban kerja real-time. Microsoft menemukan bahwa mengadopsi CXL-based memory pooling dapat memangkas total memori yang dibutuhkan sekitar 10%, menghasilkan pengurangan 5% dalam biaya server keseluruhan.¹² SMART Modular Technologies memperkirakan bahwa memasangkan DIMM yang lebih murah dengan add-in card CXL memberikan penghematan hingga 40% untuk konfigurasi memori 1TB dibandingkan dengan upgrade ke CPU yang mendukung lebih banyak RAM.¹³

Sistem hybrid DRAM-CXL mencapai 95-100% throughput dari setup DRAM murni sambil memotong biaya memori sebesar 50% melalui kompresi dan pooling yang efisien.¹⁴ Kasus ekonomi menguat seiring harga memori tetap tinggi karena permintaan HBM mengkonsumsi kapasitas produksi DRAM. Kenaikan biaya DRAM mendorong perusahaan menuju software efisiensi memori dan solusi ekspansi berbasis CXL sebagai alternatif untuk upgrade memori yang mahal.¹⁵

Beban kerja AI inference mendorong adopsi CXL

Inferensi model bahasa besar menciptakan permintaan paling mendesak untuk kapasitas memori yang diperluas. Kebutuhan penyimpanan KV cache berskala linier dengan panjang konteks, dan model modern yang mendukung konteks multi-juta token menghasilkan ukuran cache yang melebihi memori GPU sepenuhnya. Penelitian menunjukkan bahwa manajemen KV cache dengan CXL memberikan peningkatan throughput hingga 21,9x, energi per token 60x lebih rendah, dan efisiensi biaya total 7,3x lebih baik dibandingkan dengan implementasi baseline.¹⁶

XConn Technologies dan MemVerge mendemonstrasikan di Supercomputing 2025 bagaimana beban kerja AI inference dapat melakukan offload dan berbagi sumber daya KV cache yang masif secara dinamis di seluruh GPU dan CPU. Demonstrasi tersebut mencapai peningkatan performa lebih dari 5x dibandingkan dengan caching berbasis SSD atau offloading KV cache berbasis RDMA.¹⁷ Dibandingkan dengan alternatif berbasis jaringan, pool memori CXL mencapai speedup 3,8x dibanding 200G RDMA dan speedup 6,5x dibanding 100G RDMA untuk beban kerja inferensi.¹⁸

Pool memori CXL komersial yang mencapai 100TiB tersedia pada 2025, dengan deployment yang lebih besar direncanakan untuk 2026.¹⁹ Astera Labs mendemonstrasikan di OCP Global Summit 2025 bagaimana Leo CXL Smart Memory Controller menghilangkan bottleneck infrastruktur AI, mencapai 3x instance LLM bersamaan dengan throughput lebih tinggi dan latensi 3x lebih rendah dengan CXL.²⁰ SK Hynix memamerkan mesin AI memory-centric yang menghubungkan beberapa server dan GPU tanpa networking tradisional, mendukung tugas inferensi terdistribusi melalui teknologi pooled memory CXL.²¹

Di luar inferensi, ekspansi memori CXL menguntungkan sistem rekomendasi, database in-memory, dan analitik graf. Sistem memori disagregasi berbasis CXL H3 Falcon dari Micron memberikan peningkatan performa hingga 20x untuk database graf.²² Controller Leo CXL yang dipasangkan dengan prosesor AMD EPYC Gen ke-5 memberikan peningkatan performa 70% untuk model rekomendasi deep learning.²³

Lanskap controller CXL

Tiga vendor mendominasi produksi controller memori CXL: Astera Labs, Montage Technology, dan Microchip. Controller mereka memberdayakan modul memori dari setiap produsen DRAM besar.

Astera Labs memimpin pasar dengan Leo CXL Smart Memory Controller yang mendukung CXL 2.0 dengan kapasitas memori hingga 2TB per controller.²⁴ Leo mengimplementasikan protokol CXL.mem, CXL.cache, dan CXL.io, melakukan hardware interleaving untuk menyajikan memori teragregasi ke sistem operasi, dan menyediakan fitur RAS melalui suite manajemen COSMOS.²⁵ Add-in card A-Series memungkinkan deployment plug-and-play, sementara implementasi E-Series dan P-Series mendukung integrasi kustom. Preview memori CXL Azure Microsoft November 2025 menggunakan controller Leo, menandai deployment cloud publik pertama di industri untuk memori yang terpasang pada CXL.²⁶

Montage Technology mengirimkan CXL Memory eXpander Controller (MXC) pertama di dunia dan saat ini memasok controller ke Samsung, SK Hynix, dan produsen memori besar lainnya.²⁷ Controller CXL 3.1 perusahaan pada September 2025 (M88MX6852) mencapai kecepatan transfer data hingga 64GT/s pada konfigurasi x8, mengintegrasikan DDR5 dual-channel pada kecepatan 8000MT/s, dan hanya menambahkan latensi 70ns.²⁸ Paket 25mm x 25mm mendukung form factor EDSFF E3.S dan PCIe add-in card.²⁹ Samsung dan SK Hynix keduanya lulus pengujian kepatuhan CXL 2.0 menggunakan chip MXC Montage.³⁰

Microchip memasuki CXL dengan controller SMC 1000 8x25G yang mendukung aplikasi ekspansi dan pooling memori. Perusahaan mengintegrasikan kemampuan CXL ke dalam portofolio konektivitas memori yang lebih luas bersama dengan chip memory buffer dan controller SPD hub.

Produk modul memori dari vendor besar

Seri CMM-D (CXL Memory Module - DDR5) Samsung mewakili lini CXL produksi perusahaan. CMM-D 2.0 menawarkan kapasitas 128GB dan 256GB dengan bandwidth hingga 36GB/s, kepatuhan CXL 2.0, dan dukungan PCIe Gen 5.³¹ Samsung memposisikan CMM-D sebagai pelengkap DIMM lokal yang ada, mengklaim ekspansi kapasitas memori hingga 50% dan peningkatan bandwidth hingga 100% sambil menurunkan total cost of ownership.³² Sampel pelanggan dikirim pada 2025, dengan varian CXL 3.1 ditargetkan untuk akhir tahun.³³

SK Hynix mendemonstrasikan beberapa produk memori CXL di Supercomputing 2025. CMM-DDR5 bermitra dengan controller Montage untuk memperluas kapasitas memori, sementara CMM-Ax (CXL Memory Module Accelerator) mengintegrasikan kemampuan komputasi langsung ke dalam memori.³⁴ Petasus AI Cloud SK Telecom men-deploy CMM-Ax, mendemonstrasikan aplikasi infrastruktur AI praktis.³⁵ SK Hynix bersiap untuk memproduksi controller CXL proprietary untuk CXL 3.0 dan 3.1, mengurangi ketergantungan pada silikon pihak ketiga.³⁶

Micron meluncurkan modul ekspansi memori berbasis CXL 2.0 menggunakan kapasitas DDR5 96GB.³⁷ Perusahaan memposisikan memori CXL sebagai teknologi kritis untuk menutup kesenjangan dengan Samsung dan SK Hynix di segmen memori server margin tinggi. Sistem H3 Falcon Micron menggabungkan memori disagregasi berbasis CXL dengan sistem file FAMFS yang didukung Linux untuk akselerasi database graf.³⁸

Dukungan platform server dari Intel dan AMD

Prosesor AMD EPYC Genoa hadir pada 2022 dengan dukungan native perangkat CXL Type-3, memberikan AMD keunggulan multi-tahun atas Intel.³⁹ Prosesor EPYC 9005 Turin saat ini mempertahankan kompatibilitas CXL di seluruh lini. Benchmark performa menunjukkan peningkatan substansial: controller Leo CXL dengan AMD EPYC Gen ke-5 memberikan peningkatan performa 70% untuk model rekomendasi dan memungkinkan arsitektur memori hybrid yang menyamai 95-100% performa DRAM native.⁴⁰

Perjalanan CXL Intel terbukti lebih sulit. Xeon Scalable Generasi Keempat "Sapphire Rapids" diluncurkan tanpa dukungan perangkat CXL Type-3 meskipun mengimplementasikan protokol CXL dasar.⁴¹ Dukungan Type-3 resmi hadir dengan "Emerald Rapids" Generasi ke-5 sekitar satu tahun lalu. Prosesor Intel Xeon 6 mencakup CXL Flat Memory Mode, kemampuan unik yang meningkatkan fleksibilitas rasio compute-to-memory tanpa mengorbankan performa.⁴² Microsoft secara khusus menyoroti kemampuan Flat Memory Mode saat mengumumkan preview CXL Azure.⁴³

Server Lenovo ThinkSystem V4 dengan prosesor Intel Xeon 6 mendukung memori CXL 2.0 dalam form factor E3.S 2T.⁴⁴ Pemimpin industri termasuk Dell Technologies, HPE, ASUS, dan Inventec membangun platform yang selaras dengan CXL 3.0, bersiap untuk adopsi ekosistem yang lebih luas.⁴⁵ Proyeksi DRAM di belakang CXL mencapai sekitar 10% dari DRAM server pada 2029.⁴⁶

CXL 4.0 memetakan masa depan multi-rack

Rilis spesifikasi CXL 4.0 November 2025 menetapkan fondasi untuk arsitektur pusat data yang benar-benar disagregasi. Menggandakan bandwidth menjadi 128GT/s melalui layer fisik PCIe 7.0 mengatasi kekhawatiran performa yang membatasi adopsi sebelumnya.⁴⁷ Bundled ports mengagregasi beberapa koneksi fisik menjadi attachment logis tunggal, memungkinkan bandwidth 768GB/s di setiap arah (total 1,536TB/s) pada konfigurasi x16 sambil mempertahankan model software yang sederhana.⁴⁸

Dukungan lebar link native x2 meningkatkan kemampuan fan-out untuk topologi memory pooling. Versi CXL sebelumnya hanya mendukung x2 sebagai mode fallback untuk kegagalan lane; CXL 4.0 sepenuhnya mengoptimalkan x2 untuk performa seperti lebar x4 hingga x16.⁴⁹ Dukungan extended reach melalui hingga empat retimer memungkinkan konfigurasi multi-rack tanpa degradasi sinyal.⁵⁰

Sistem multi-rack CXL 4.0 mungkin di-deploy pada akhir 2026 hingga 2027.⁵¹ Spesifikasi ini mempertahankan kompatibilitas mundur dengan semua versi CXL sebelumnya, melindungi investasi dalam peralatan CXL 2.0 dan 3.x yang ada.⁵² Dengan kematangan ekosistem CXL 3.0 diharapkan sepanjang 2025, pusat data akan mulai mengadopsi arsitektur di mana memori dan compute disagregasi, pooling, dan realokasi secara dinamis pada 2026.⁵³

Membangun stack infrastruktur CXL

Men-deploy ekspansi memori CXL memerlukan koordinasi ekosistem di luar