Switch Ethernet untuk AI: Platform 51,2Tbps yang Menghubungkan Kluster GPU

Diperbarui 11 Desember 2025

Pembaruan Desember 2025: Ethernet kini memimpin deployment back-end AI menurut Dell'Oro Group. xAI Colossus (100.000 H100) mencapai throughput 95% dengan Spectrum-X dibanding 60% pada Ethernet tradisional. Broadcom Tomahawk 5 menghadirkan 51,2Tbps dalam chip monolitik tunggal (64x 800GbE). Ultra Ethernet Consortium merilis spesifikasi 560 halaman yang memformalisasi standar yang dioptimalkan untuk AI. NVIDIA Spectrum-X800 memberikan performa AI 1,6x lebih tinggi dibanding Ethernet tradisional.

Ethernet kini memimpin deployment jaringan back-end AI. Dell'Oro Group melaporkan bahwa keunggulan biaya yang menarik, ekosistem multi-vendor, dan keakraban operasional mendorong adopsi melebihi InfiniBand di tahun 2025.¹ Pergeseran ini semakin menguat seiring superkomputer Colossus milik xAI mendemonstrasikan performa Ethernet pada skala masif, menghubungkan 100.000 GPU NVIDIA Hopper menggunakan jaringan Spectrum-X dan mencapai throughput data 95% dengan kontrol kongesti canggih.² Ethernet tradisional pada skala serupa mengalami ribuan tabrakan flow, membatasi throughput hingga sekitar 60%.³

Silicon switch telah menggandakan bandwidth untuk memenuhi kebutuhan AI. Tomahawk 5 dari Broadcom menghadirkan 51,2 terabit per detik dalam chip monolitik tunggal, mendukung switch dengan 64 port 800GbE atau 128 port 400GbE.⁴ Platform Spectrum-X800 dari NVIDIA menyamai kapasitas ini sambil menambahkan optimisasi khusus AI melalui integrasi software dengan BlueField SuperNIC. Spesifikasi Ultra Ethernet Consortium Juni 2025 memformalisasi standar untuk Ethernet yang dioptimalkan AI, menetapkan kerangka kerja 560 halaman untuk kontrol kongesti, transport RDMA, dan interoperabilitas multi-vendor.⁵

Broadcom Tomahawk 5 menetapkan standar bandwidth

Seri switch StrataXGS Tomahawk 5 menghadirkan kapasitas switching Ethernet 51,2 terabit per detik dalam perangkat monolitik tunggal, menggandakan bandwidth dari silicon generasi sebelumnya.⁶ Chip ini merepresentasikan dominasi berkelanjutan Broadcom dalam silicon switch merchant, mempertahankan cadence penggandaan bandwidth yang dimulai dengan Tomahawk 1 pada 2014.

Keputusan arsitektur membedakan Tomahawk 5 dari kompetitor. Sementara desain 51,2Tbps pesaing menggunakan arsitektur chiplet yang membungkus beberapa chiplet signaling SerDes di sekitar mesin pemrosesan paket monolitik, Tomahawk 5 mencapai bandwidth penuh dalam silicon tunggal menggunakan teknologi proses 5nm.⁷ Arsitektur shared-buffer memberikan performa tertinggi dan tail latency terendah untuk RoCEv2 dan protokol RDMA lainnya yang kritis untuk beban kerja AI.⁸

Konfigurasi port mendukung berbagai skenario deployment: 64 port pada 800Gbps untuk deployment spine yang memerlukan bandwidth per-port maksimum, 128 port pada 400Gbps untuk switch leaf yang seimbang, dan 256 port pada 200Gbps untuk lingkungan yang memerlukan konektivitas server ekstensif.⁹ Chip ini mendukung topologi Clos tradisional dan arsitektur non-Clos termasuk konfigurasi torus, Dragonfly, Dragonfly+, dan Megafly yang dioptimalkan untuk komunikasi kluster AI.¹⁰

Fitur canggih menargetkan kebutuhan beban kerja AI/ML secara langsung. Cognitive Routing menyediakan distribusi trafik yang cerdas. Dynamic load balancing menyebarkan flow di seluruh jalur yang tersedia. Kontrol kongesti end-to-end mencegah saturasi jaringan yang menurunkan utilisasi GPU.¹¹ Broadcom mengklaim Jericho3-AI menawarkan waktu penyelesaian job lebih dari 10% lebih singkat dibanding chip pesaing melalui optimisasi ini.¹²

Peningkatan efisiensi daya terbukti substansial. Satu Tomahawk 5 menggantikan empat puluh delapan switch Tomahawk 1 dalam bandwidth setara, menghasilkan pengurangan kebutuhan daya lebih dari 95%.¹³ Untuk pusat data AI yang sudah berjuang dengan densitas daya per-rack, peningkatan efisiensi jaringan menggabungkan dengan optimisasi komputasi dan pendinginan.

Produk switch komersial dari berbagai vendor memanfaatkan silicon Tomahawk 5. N9600-64OD dari FS.com menghadirkan 64x port 800GbE dengan latency sub-mikrodetik.¹⁴ Seri N9500 dari NADDOD menawarkan konfigurasi 400G dan 800G yang dioptimalkan untuk deployment pusat data AI.¹⁵ Keluarga AI Leaf 7060X6 dari Arista menggunakan Tomahawk 5 untuk kapasitas 51,2Tbps dalam form factor 2RU.¹⁶

NVIDIA Spectrum-X membangun Ethernet native untuk AI

NVIDIA mendesain Spectrum-X sebagai platform jaringan Ethernet pertama yang dibangun khusus untuk beban kerja AI. Platform ini menggabungkan switch Spectrum SN5600 dengan BlueField-3 SuperNIC, mempercepat performa AI generatif 1,6x dibanding implementasi Ethernet tradisional.¹⁷

Switch Spectrum-X800 SN5600 menyediakan 64 port 800GbE menggunakan form factor OSFP dan kapasitas switching total 51,2Tbps.¹⁸ Arsitektur Spectrum-4 yang mendasari switch ini melampaui kemampuan generasi sebelumnya dalam kapasitas dan densitas port. Integrasi dengan BlueField SuperNIC memungkinkan kontrol kongesti terkoordinasi, routing adaptif, dan pengumpulan telemetri yang mencakup seluruh fabric jaringan.

Deployment dunia nyata memvalidasi arsitektur ini. Kluster Colossus milik xAI menggunakan Spectrum-X Ethernet untuk melatih keluarga model bahasa besar Grok di 100.000 GPU.¹⁹ Sistem ini mencapai throughput data 95% melalui teknologi kontrol kongesti yang dioptimalkan khusus untuk pola komunikasi burst dan tersinkronisasi dari pelatihan AI terdistribusi.²⁰

Pengumuman produk 2025 memperluas kemampuan Spectrum-X secara signifikan. Switch Spectrum-X Photonics yang diungkap pada Maret 2025 menggabungkan sirkuit elektronik dengan komunikasi optik pada skala masif.²¹ Konfigurasi mencakup 128 port 800Gbps (total 100Tbps) dan 512 port 800Gbps (total 400Tbps), memungkinkan pabrik AI yang menghubungkan jutaan GPU sambil mengurangi konsumsi energi.²²

Spectrum-XGS Ethernet yang diumumkan pada Agustus 2025 memperkenalkan teknologi scale-across yang menggabungkan pusat data terdistribusi menjadi super-factory AI skala giga yang terpadu.²³ Teknologi ini merepresentasikan pilar ketiga komputasi AI di luar scale-up tradisional (NVLink) dan scale-out (jaringan standar), memungkinkan organisasi mengagregasi infrastruktur terdistribusi menjadi lingkungan pelatihan yang koheren.

Penyedia cloud besar melakukan standardisasi pada Spectrum-X. Meta dan Oracle mengumumkan pada Oktober 2025 bahwa mereka akan men-deploy switch Ethernet Spectrum-X sebagai arsitektur jaringan terbuka dan terakselerasi yang mempercepat efisiensi pelatihan AI.²⁴ Ekosistem multi-vendor memposisikan Spectrum-X sebagai solusi NVIDIA sekaligus platform industri.

Ultra Ethernet Consortium menetapkan standar siap-AI

Ultra Ethernet Consortium merilis Spesifikasi 1.0 pada 11 Juni 2025, menetapkan kerangka kerja komprehensif 560 halaman untuk jaringan AI dan HPC.²⁵ Konsorsium yang diluncurkan pada 2023 di bawah Linux Foundation ini menyatukan lebih dari 50 perusahaan teknologi termasuk AMD, Intel, Broadcom, Cisco, Arista, Meta, Microsoft, Dell, Samsung, dan Huawei.²⁶

Inovasi teknis mengatasi keterbatasan fundamental dalam Ethernet tradisional untuk beban kerja AI. Spesifikasi ini mendefinisikan implementasi RDMA yang ditingkatkan, protokol transport, dan mekanisme kontrol kongesti yang dirancang untuk pola komunikasi tersinkronisasi dan burst dari pelatihan terdistribusi.²⁷

Pendekatan kontrol kongesti berbeda secara fundamental dari implementasi RoCE tradisional. Pendekatan UEC tidak bergantung pada jaringan lossless seperti yang diperlukan secara tradisional, memperkenalkan mode receiver-driven di mana endpoint dapat membatasi transmisi pengirim secara aktif daripada tetap pasif.²⁸ Pergeseran ini memungkinkan konstruksi jaringan yang lebih besar dengan efisiensi yang lebih baik untuk beban kerja AI.

Target performa mencakup deployment skala kluster. Spesifikasi ini menargetkan round-trip time antara 1 dan 20 mikrodetik di seluruh kluster, mengoptimalkan secara khusus untuk lingkungan pusat data yang menjalankan pelatihan AI, inferensi, dan beban kerja HPC.²⁹

Jaminan interoperabilitas mencegah vendor lock-in. UEC Specification 1.0 menghadirkan solusi berperforma tinggi di seluruh NIC, switch, optik, dan kabel, memungkinkan integrasi multi-vendor yang mulus.³⁰ Standar terbuka ini memungkinkan organisasi mendapatkan komponen dari berbagai pemasok sambil mempertahankan konsistensi performa.

Ketersediaan produk mengikuti rilis spesifikasi. Arista mengonfirmasi dukungan untuk peningkatan switching UEC 1.0 di seluruh portofolio produk Etherlink, dimulai dengan platform 7060X dan 7800R.³¹ Hardware pendukung full-stack dari berbagai vendor akan tersedia pada akhir 2025 atau awal 2026.³²

Arista dan Cisco bersaing dalam platform AI modular

Vendor jaringan tradisional mengadaptasi platform pusat data untuk kebutuhan beban kerja AI, bersaing melawan pendekatan yang dibangun khusus oleh NVIDIA.

Seri 7800R4 dari Arista diluncurkan 29 Oktober 2025 sebagai sistem spine modular generasi keempat yang dirancang untuk deployment AI.³³ Platform ini menghadirkan throughput sistem 460Tbps (920Tbps full duplex) di seluruh konfigurasi dari empat hingga enam belas modul line card.³⁴ Jumlah port dapat diskalakan hingga 576x 800GbE atau 1152x 400GbE untuk konektivitas kluster masif.³⁵

7800R4 mengimplementasikan prosesor Broadcom Jericho3-AI dengan pipeline paket yang dioptimalkan untuk AI.³⁶ Teknologi HyperPort menggabungkan empat port 800Gbps menjadi koneksi agregat 3,2Tbps, memungkinkan waktu penyelesaian job 44% lebih singkat untuk flow bandwidth AI dibandingkan dengan load balancing tradisional di port terpisah.³⁷ Chassis modular dan switch fixed-form 7280R4 sudah tersedia, dengan varian 7020R4 dan linecard HyperPort hadir Q1 2026.³⁸

Cisco Silicon One menyatukan kemampuan routing dan switching dengan performa hingga 51,2Tbps yang didukung oleh ASIC G200.³⁹ Arsitektur ini menargetkan jaringan scale-out dan scale-up AI dengan kapasitas tinggi, latency ultra-rendah, dan waktu penyelesaian job yang berkurang.⁴⁰

Router modular Cisco 8800 Series menyediakan fondasi chassis. Tersedia dalam konfigurasi 4, 8, 12, dan 18-slot, semua model mendukung line card 36x 800G (P100) generasi ketiga berbasis Silicon One.⁴¹ Router Cisco 8223 menghadirkan kapasitas 51,2Tbps menggunakan chip programmable Silicon One P200.⁴²

Kemitraan Cisco-NVIDIA yang diperluas mengintegrasikan chip Silicon One ke dalam stack Ethernet Spectrum-X, menggabungkan switching latency rendah, routing adaptif, dan telemetri untuk dukungan kluster GPU.⁴³ Dukungan SONiC (Software for Open Networking in the Cloud) pada switch Cisco 8000 Series memungkinkan organisasi memilih sistem operasi jaringan terbuka yang sesuai dengan kebutuhan operasional.⁴⁴

RoCE membuat Ethernet kompetitif dengan InfiniBand

RDMA over Converged Ethernet (RoCE) memungkinkan jaringan Ethernet menyamai performa InfiniBand untuk beban kerja AI ketika dikonfigurasi dengan benar. Meta mempublikasikan detail engineering untuk kluster 24.000-GPU mereka, menyatakan bahwa mereka menyetel baik RoCE maupun InfiniBand untuk memberikan performa setara, dengan model terbesar dilatih pada fabric RoCE mereka.⁴⁵

RoCE v2 bergantung pada konfigurasi jaringan Ethernet lossless. Priority Flow Control menghilangkan packet loss untuk kelas trafik tertentu. Enhanced Transmission Selection mengalokasikan bandwidth di seluruh tipe trafik. Explicit Congestion Notification memberi sinyal kongesti lebih awal. Dynamic Congestion Control mengoptimalkan performa RDMA.⁴⁶ Tanpa konfigurasi yang tepat dari mekanisme ini, performa RoCE menurun secara signifikan.

Platform cloud besar memvalidasi RoCE untuk beban kerja AI produksi. Tipe mesin A3 Ultra dan A4 Compute Engine dari Google Cloud memanfaatkan RoCEv2 untuk jaringan GPU berperforma tinggi.⁴⁷ Supercluster Zettascale10 dari Oracle menggunakan fabric jaringan Acceleron RoCE dengan NIC Ethernet khusus yang berisi switch empat port terintegrasi untuk meminimalkan latency.⁴⁸

Arsitektur kluster AI Meta mendemonstrasikan RoCE pada skala besar. Fabric backend menghubungkan semua NIC RDMA dalam topologi non-blocking yang menyediakan bandwidth tinggi, latency rendah, dan transport lossless antara dua GPU manapun.⁴⁹ Topologi Clos dua tahap mengorganisir rack AI ke dalam zona, dengan switch training rack berfungsi sebagai switch leaf yang menghubungkan GPU melalui kabel DAC tembaga.⁵⁰

Pertimbangan biaya mendukung Ethernet untuk banyak deployment. Untuk perusahaan tier 2 dan tier 3 yang men-deploy kluster 256-1.024 GPU, Ethernet dengan RoCE merupakan rekomendasi default kecuali ada persyaratan latency spesifik dan terkuantifikasi yang membenarkan biaya jaringan 2x dari InfiniBand.⁵¹ Studi kasus yang dipublikasikan dari la

[Konten dipotong untuk terjemahan]