CoWoS dan Pengemasan Tingkat Lanjut: Bagaimana Arsitektur Chip Membentuk Desain Pusat Data

Diperbarui 11 Desember 2025

Pembaruan Desember 2025: TSMC mendemonstrasikan pendinginan cairan langsung ke silikon pada CoWoS yang mencapai resistansi termal 0,055°C/W pada TDP 2,6kW+ dengan interposer 3.300mm². NVIDIA mengamankan 70%+ kapasitas CoWoS-L TSMC untuk 2025. Volume GPU Blackwell meningkat 20%+ per kuartal menuju 2 juta+ unit tahunan. Pengemasan tingkat lanjut menjadi kendala utama dalam pasokan akselerator AI.

TSMC mendemonstrasikan Pendinginan Cairan Langsung ke Silikon yang terintegrasi pada platform CoWoS-nya di konferensi IEEE ECTC 2025, mencapai resistansi termal junction-to-ambient sebesar 0,055 °C/W pada aliran pendingin 40 ml/s—hampir 15% lebih baik dari pendinginan cairan dengan penutup menggunakan material antarmuka termal.[^1] Demonstrasi tersebut memvalidasi operasi berkelanjutan di atas TDP 2,6 kW pada interposer masif berukuran 3.300 mm² yang mendukung beberapa die logika dan tumpukan HBM. Teknologi pengemasan tingkat lanjut telah berkembang dari sekadar urusan manufaktur semikonduktor menjadi pendorong utama arsitektur daya dan pendinginan pusat data.

NVIDIA mengamankan lebih dari 70% kapasitas pengemasan tingkat lanjut CoWoS-L TSMC untuk 2025, dengan volume pengiriman GPU arsitektur Blackwell meningkat lebih dari 20% setiap kuartal menuju volume tahunan melebihi 2 juta unit.[^2] Alokasi kapasitas tersebut mencerminkan bagaimana pengemasan tingkat lanjut telah menjadi kendala kritis dalam pasokan akselerator AI. Operator pusat data yang merencanakan investasi infrastruktur harus memahami bagaimana teknologi pengemasan memengaruhi sistem yang mereka terapkan, mulai dari persyaratan pengiriman daya hingga tuntutan pendinginan dan faktor bentuk fisik.

Memahami pengemasan tingkat lanjut

Pengemasan tingkat lanjut mengintegrasikan beberapa die silikon ke dalam paket terpadu yang berfungsi sebagai chip tunggal, memungkinkan kemampuan yang tidak mungkin dicapai dengan desain monolitik.

Penjelasan teknologi CoWoS

CoWoS (Chip-on-Wafer-on-Substrate) menggabungkan beberapa die pada interposer silikon, yang kemudian diikat ke substrat paket.[^3] Interposer silikon memiliki interkoneksi logam berdensitas tinggi dan through-silicon vias (TSV), menyediakan komunikasi data bandwidth ultra-tinggi dan latensi rendah antar die. Hasilnya memberikan efisiensi daya yang lebih baik, kinerja termal, dan jejak kompak yang kritis untuk beban kerja AI, HPC, dan cloud.

Berbeda dengan paket chip tunggal tradisional, CoWoS memungkinkan integrasi heterogen yang menggabungkan SoC, GPU, dan tumpukan memori HBM dalam satu paket.[^3] Integrasi ini menghilangkan penalti bandwidth dan latensi dari komunikasi melintasi batas paket. Bandwidth memori yang membatasi kinerja AI meningkat secara dramatis ketika tumpukan HBM berada beberapa milimeter dari die komputasi daripada melintasi PCB.

Varian CoWoS

NVIDIA mengadopsi pengemasan tingkat lanjut CoWoS-L, mengintegrasikan redistribution layer (RDL) dengan partial silicon interposer (LSI).[^2] CoWoS-L meningkatkan ukuran dan area chip dengan meningkatkan kepadatan transistor, memungkinkan penumpukan lebih banyak memori bandwidth tinggi. Dibandingkan dengan teknologi CoWoS-S dan CoWoS-R, CoWoS-L menawarkan kinerja superior, hasil lebih tinggi, dan efisiensi biaya yang lebih baik.

CoWoS-S (silicon interposer) menggunakan interposer silikon penuh yang mencakup semua die. Pendekatan ini memberikan pitch interkoneksi terbaik tetapi membatasi ukuran paket pada batas manufaktur interposer silikon. Paket CoWoS-S saat ini mencapai sekitar 2,5 ukuran reticle.

CoWoS-R (RDL interposer) menggantikan interposer silikon dengan redistribution layer organik, mengurangi biaya dengan mengorbankan kepadatan interkoneksi. Teknologi ini cocok untuk aplikasi yang membutuhkan paket besar di mana interposer silikon penuh menjadi sangat mahal.

Teknologi kompetitif

EMIB (Embedded Multi-die Interconnect Bridge) Intel menghubungkan chiplet menggunakan jembatan silikon kecil yang tertanam langsung di substrat paket, menghilangkan kebutuhan akan interposer silikon besar.[^4] Pendekatan ini mengurangi biaya dan kompleksitas termal dibandingkan solusi interposer penuh. EMIB cocok untuk desain di mana die berkomunikasi secara berpasangan daripada membutuhkan konektivitas mesh penuh.

Teknologi Foveros Intel menumpuk die secara vertikal menggunakan through-silicon vias atau direct copper bonding.[^4] Penumpukan 3D menawarkan kepadatan interkoneksi tinggi dan integrasi node heterogen dengan biaya pertimbangan termal dan hasil yang lebih ketat. Manajemen termal menjadi sangat menantang ketika die penghasil panas ditumpuk secara vertikal.

CoWoS-L TSMC tetap menjadi opsi utama untuk GPU AI berkinerja tinggi dan akselerator berat HBM meskipun ada alternatif kompetitif.[^4] Kematangan produksi teknologi ini dan kinerja yang terbukti pada tingkat daya akselerator AI menjadikannya pilihan default untuk desain terdepan.

Implikasi termal

Pengemasan tingkat lanjut memusatkan pembangkitan panas dengan cara yang menantang pendekatan pendinginan tradisional.

Tantangan kepadatan daya

Paket CoWoS 3.300 mm² yang mendisipasi 2,6+ kW mewakili kepadatan daya yang membutuhkan pendinginan canggih di luar kemampuan pendinginan udara.[^1] Daya terkonsentrasi pada die komputasi yang menempati sebagian kecil dari total area paket, menciptakan titik panas termal yang melampaui kepadatan daya paket rata-rata.

Tumpukan HBM yang mengelilingi die komputasi menghasilkan panas tambahan sementara membutuhkan kontrol suhu untuk menjaga keandalan memori. Spesifikasi HBM membatasi suhu operasi lebih ketat dari yang dapat ditoleransi die logika. Desain pendinginan harus mengatasi suhu puncak die logika dan persyaratan termal HBM yang terdistribusi.

Perkembangan dari GPU 300W ke generasi saat ini 700W+ dan paket generasi berikutnya yang diantisipasi 1000W+ mendorong perubahan mendasar dalam arsitektur termal pusat data. Pendekatan pendinginan udara yang menangani generasi sebelumnya tidak dapat diskalakan ke tingkat daya saat ini tanpa penalti akustik atau energi yang tidak dapat diterima.

Integrasi pendinginan cairan langsung

Pendinginan Cairan Langsung ke Silikon TSMC menanamkan saluran mikrofluida langsung ke struktur silikon, melewati material antarmuka termal untuk impedansi termal mendekati nol.[^1] Si-Integrated Micro Cooler diikat secara fusi ke sisi belakang chip, menciptakan kontak termal intim yang tidak dapat dicapai pendekatan berbasis TIM.

Teknologi ini memungkinkan operasi berkelanjutan pada tingkat daya yang akan membanjiri paket berpenutup dengan cold plate eksternal. Pusat data yang menerapkan akselerator AI generasi berikutnya mungkin memerlukan tingkat integrasi termal ini daripada meretrofit pendinginan yang ada ke beban daya yang lebih tinggi.

Integrasi pada tingkat paket menggeser tanggung jawab pendinginan ke produsen semikonduktor dan vendor sistem daripada operator pusat data. Organisasi yang menentukan infrastruktur AI harus memahami solusi termal mana yang digunakan sistem pilihan mereka dan persyaratan fasilitas apa yang ditimbulkan solusi tersebut.

Persyaratan pendinginan fasilitas

Pendinginan cairan pada tingkat chip masih memerlukan pembuangan panas pada tingkat fasilitas. Beban termal berpindah dari chip ke loop pendingin ke infrastruktur pendinginan pusat data. Desain fasilitas harus mengakomodasi distribusi pendingin, penukar panas, dan pembuangan panas akhir terlepas dari seberapa efisien chip terhubung ke pendingin.

Rak berdensitas tinggi yang dimungkinkan oleh pengemasan tingkat lanjut dapat memusatkan 100+ kW pada posisi rak tunggal. Konsentrasi tersebut menciptakan tuntutan pendinginan terlokalisasi yang sulit diatasi oleh pendekatan berbasis baris atau ruangan. Penukar panas pintu belakang, unit pendingin dalam baris, atau infrastruktur pendinginan cairan langsung ke chip menjadi diperlukan.

Persyaratan pasokan dan pengolahan air meningkat dengan penerapan pendinginan cairan. Kualitas pendingin memengaruhi kinerja termal dan umur peralatan. Pusat data harus menyediakan pengolahan air atau menentukan sistem loop tertutup yang meminimalkan ketergantungan kualitas air.

Pertimbangan pengiriman daya

Paket tingkat lanjut memerlukan sistem pengiriman daya yang sesuai dengan tuntutan arus yang meningkat dan persyaratan regulasi tegangan yang lebih ketat.

Penempatan regulator tegangan

Pengiriman arus tinggi ke paket tingkat lanjut mendapat manfaat dari regulator tegangan yang ditempatkan dekat dengan paket. Jarak pendek mengurangi kerugian resistif dan meningkatkan respons transien ketika permintaan daya berubah dengan cepat. Desain papan semakin menempatkan VRM tepat di samping paket GPU.

Tingkat arus yang mencapai ratusan ampere pada tegangan sub-1V menciptakan persyaratan distribusi daya yang menantang. Jumlah lapisan PCB dan berat tembaga meningkat untuk membawa arus tanpa kerugian atau kenaikan suhu yang berlebihan. Kompleksitas dan biaya desain papan meningkat seiring dengan daya paket.

Desain power delivery network (PDN) memengaruhi efisiensi steady-state dan stabilitas transien. Beban kerja AI menunjukkan transisi daya cepat saat komputasi batch dimulai dan selesai. PDN harus memasok lonjakan arus tanpa penurunan tegangan yang menyebabkan kesalahan.

Infrastruktur daya fasilitas

Infrastruktur daya pusat data harus mengakomodasi peningkatan daya total dan peningkatan kepadatan daya. Rak yang membutuhkan 100 kW memerlukan infrastruktur listrik yang sedikit fasilitas sediakan secara default. Kapasitas busway, peringkat PDU, dan jumlah sirkuit cabang semuanya memerlukan validasi terhadap rencana penerapan aktual.

Efisiensi daya pada tingkat fasilitas memengaruhi total biaya kepemilikan secara signifikan. Paket tingkat lanjut yang mencapai kinerja lebih baik per watt mengurangi beban pendinginan bersamaan dengan biaya komputasi. Namun, manfaat ini hanya terealisasi jika infrastruktur fasilitas beroperasi secara efisien di seluruh rentang daya yang relevan.

Sistem daya cadangan menghadapi tantangan baru dari infrastruktur AI berdensitas tinggi. Kapasitas UPS dan generator harus sesuai dengan beban puncak fasilitas sambil menyediakan runtime yang memadai untuk shutdown yang anggun. Biaya modal daya cadangan berskala dengan beban yang dilindungi, meningkatkan investasi infrastruktur.

Faktor bentuk fisik

Pengemasan tingkat lanjut memengaruhi faktor bentuk fisik di seluruh hierarki sistem.

Dimensi paket

Kendala ukuran interposer membatasi berapa banyak die dan tumpukan HBM yang muat dalam satu paket. Paket CoWoS saat ini mencakup beberapa ukuran reticle, mendekati batas peralatan manufaktur. Pertumbuhan ukuran paket memungkinkan lebih banyak kemampuan per paket tetapi menantang desain soket dan papan.

Ketinggian paket meningkat dengan jumlah tumpukan HBM. Setiap tumpukan HBM menambahkan dimensi vertikal yang harus diakomodasi desain soket dan heatsink. Desain sistem yang menyeimbangkan jumlah paket terhadap kendala ketinggian membuat tradeoff berbeda dari generasi sebelumnya.

Pola ball grid array (BGA) untuk paket tingkat lanjut mencakup ribuan koneksi untuk daya, sinyal, dan ground. Desain soket harus secara andal menghubungi semua koneksi sambil memungkinkan pelepasan paket untuk servis. Rekayasa mekanik soket pin-count tinggi memengaruhi kemampuan servis sistem.

Desain papan dan sistem

Desain motherboard untuk paket tingkat lanjut mendedikasikan area substansial untuk pengiriman daya, saluran memori, dan interkoneksi berkecepatan tinggi. Real estate papan yang diperlukan per paket dapat membatasi berapa banyak paket yang muat pada satu papan. Desain sistem memilih antara lebih sedikit paket besar atau lebih banyak paket kecil berdasarkan persyaratan beban kerja.

Faktor bentuk server berkembang untuk mengakomodasi persyaratan paket tingkat lanjut. Kendala ketinggian dalam faktor bentuk standar 1U dan 2U bertentangan dengan solusi pendinginan untuk paket berdaya tinggi. Desain server AI yang dibuat khusus memprioritaskan kinerja termal daripada kepadatan rak.

Kepadatan daya rak meningkat seiring paket tumbuh lebih mampu dalam faktor bentuk konstan. Fasilitas yang dirancang untuk 10-15 kW per rak menemukan infrastruktur AI membutuhkan 50-100+ kW per rak. Ketidaksesuaian antara infrastruktur terpasang dan persyaratan penerapan menciptakan situasi retrofit yang mahal.

Implikasi rantai pasokan

Kendala kapasitas pengemasan tingkat lanjut memengaruhi ketersediaan infrastruktur AI dan horizon perencanaan.

Alokasi kapasitas

TSMC berencana memperluas delapan fasilitas CoWoS dalam jangka pendek, termasuk fasilitas di ChiaYi Science Park dan lokasi Innolux yang diakuisisi.[^5] Pemasok peralatan semikonduktor mengonfirmasi bahwa TSMC dan pemain non-TSMC termasuk ASE, Amkor, dan UMC

[Konten dipotong untuk penerjemahan]