สวิตช์ Ethernet สำหรับ AI: แพลตฟอร์ม 51.2Tbps ที่เชื่อมต่อคลัสเตอร์ GPU
อัปเดต 11 ธันวาคม 2025
อัปเดตธันวาคม 2025: Ethernet กำลังนำในการติดตั้งเครือข่าย back-end สำหรับ AI ตามรายงานของ Dell'Oro Group xAI Colossus (H100 จำนวน 100,000 ตัว) สามารถทำ throughput ได้ 95% ด้วย Spectrum-X เทียบกับ 60% บน Ethernet แบบดั้งเดิม Broadcom Tomahawk 5 ให้ประสิทธิภาพ 51.2Tbps ในชิปแบบ monolithic เดียว (64x 800GbE) Ultra Ethernet Consortium ได้กำหนดมาตรฐานที่ปรับให้เหมาะสมสำหรับ AI ในสเปคจำนวน 560 หน้า NVIDIA Spectrum-X800 ให้ประสิทธิภาพ AI สูงกว่า Ethernet แบบดั้งเดิม 1.6 เท่า
Ethernet กำลังนำในการติดตั้งเครือข่าย back-end สำหรับ AI Dell'Oro Group รายงานว่าข้อได้เปรียบด้านต้นทุนที่น่าสนใจ ระบบนิเวศที่มีหลายผู้ผลิต และความคุ้นเคยในการดำเนินงานเป็นปัจจัยขับเคลื่อนการนำไปใช้แทน InfiniBand ในปี 2025¹ การเปลี่ยนแปลงนี้มีแรงผลักดันมากขึ้นเมื่อซูเปอร์คอมพิวเตอร์ Colossus ของ xAI แสดงให้เห็นประสิทธิภาพของ Ethernet ในระดับขนาดใหญ่ โดยเชื่อมต่อ NVIDIA Hopper GPU จำนวน 100,000 ตัวด้วยเครือข่าย Spectrum-X และสามารถทำ data throughput ได้ 95% ด้วยการควบคุมความคับคั่งขั้นสูง² Ethernet แบบดั้งเดิมในระดับที่ใกล้เคียงกันประสบปัญหาการชนกันของ flow หลายพันครั้ง ทำให้ throughput จำกัดอยู่ที่ประมาณ 60%³
ซิลิกอนสำหรับสวิตช์ได้เพิ่มแบนด์วิดท์เป็นสองเท่าเพื่อตอบสนองความต้องการของ AI Tomahawk 5 ของ Broadcom ให้ 51.2 เทราบิตต่อวินาทีในชิปแบบ monolithic เดียว ขับเคลื่อนสวิตช์ที่มี 64 พอร์ตของ 800GbE หรือ 128 พอร์ตของ 400GbE⁴ แพลตฟอร์ม Spectrum-X800 ของ NVIDIA มีความจุเทียบเท่ากันในขณะที่เพิ่มการปรับให้เหมาะสมเฉพาะสำหรับ AI ผ่านการผสานรวมซอฟต์แวร์กับ BlueField SuperNICs สเปคของ Ultra Ethernet Consortium ในเดือนมิถุนายน 2025 ได้กำหนดมาตรฐานสำหรับ Ethernet ที่ปรับให้เหมาะสมสำหรับ AI อย่างเป็นทางการ โดยสร้างกรอบการทำงาน 560 หน้าสำหรับการควบคุมความคับคั่ง การขนส่ง RDMA และการทำงานร่วมกันระหว่างผู้ผลิตหลายราย⁵
Broadcom Tomahawk 5 กำหนดมาตรฐานแบนด์วิดท์
ซีรีส์สวิตช์ StrataXGS Tomahawk 5 ให้ความจุการสวิตช์ Ethernet 51.2 เทราบิตต่อวินาทีในอุปกรณ์แบบ monolithic เดียว ซึ่งเป็นการเพิ่มแบนด์วิดท์เป็นสองเท่าจากซิลิกอนรุ่นก่อนหน้า⁶ ชิปนี้แสดงถึงความเป็นผู้นำอย่างต่อเนื่องของ Broadcom ในซิลิกอนสวิตช์เชิงพาณิชย์ โดยรักษาจังหวะการเพิ่มแบนด์วิดท์เป็นสองเท่าที่ก่อตั้งขึ้นด้วย Tomahawk 1 ในปี 2014
การตัดสินใจด้านสถาปัตยกรรมทำให้ Tomahawk 5 แตกต่างจากคู่แข่ง ในขณะที่การออกแบบ 51.2Tbps ของคู่แข่งใช้สถาปัตยกรรม chiplet ที่ห่อหุ้ม SerDes chiplets หลายตัวรอบ ๆ เครื่องประมวลผลแพ็กเก็ตแบบ monolithic แต่ Tomahawk 5 บรรลุแบนด์วิดท์เต็มที่ในซิลิกอนชิ้นเดียวโดยใช้เทคโนโลยีกระบวนการ 5nm⁷ สถาปัตยกรรม shared-buffer ให้ประสิทธิภาพสูงสุดและ tail latency ต่ำสุดสำหรับ RoCEv2 และโปรโตคอล RDMA อื่น ๆ ที่สำคัญต่อภาระงาน AI⁸
การกำหนดค่าพอร์ตรองรับสถานการณ์การติดตั้งที่หลากหลาย: 64 พอร์ตที่ 800Gbps สำหรับการติดตั้ง spine ที่ต้องการแบนด์วิดท์ต่อพอร์ตสูงสุด, 128 พอร์ตที่ 400Gbps สำหรับ leaf switches ที่สมดุล และ 256 พอร์ตที่ 200Gbps สำหรับสภาพแวดล้อมที่ต้องการการเชื่อมต่อเซิร์ฟเวอร์อย่างกว้างขวาง⁹ ชิปรองรับทั้ง topology แบบ Clos ดั้งเดิมและสถาปัตยกรรมที่ไม่ใช่ Clos รวมถึงการกำหนดค่า torus, Dragonfly, Dragonfly+ และ Megafly ที่ปรับให้เหมาะสมสำหรับการสื่อสารคลัสเตอร์ AI¹⁰
ฟีเจอร์ขั้นสูงกำหนดเป้าหมายไปที่ความต้องการภาระงาน AI/ML โดยตรง Cognitive Routing ให้การกระจายทราฟฟิกอัจฉริยะ Dynamic load balancing กระจาย flows ข้ามเส้นทางที่มีอยู่ การควบคุมความคับคั่งแบบ end-to-end ป้องกันความอิ่มตัวของเครือข่ายที่ลดการใช้งาน GPU¹¹ Broadcom อ้างว่า Jericho3-AI ให้เวลาในการทำงานสั้นลงมากกว่า 10% เมื่อเทียบกับชิปของคู่แข่งผ่านการปรับให้เหมาะสมเหล่านี้¹²
การเพิ่มประสิทธิภาพด้านพลังงานพิสูจน์ให้เห็นว่ามีนัยสำคัญ Tomahawk 5 ตัวเดียวสามารถแทนที่สวิตช์ Tomahawk 1 จำนวน 48 ตัวในแบนด์วิดท์ที่เทียบเท่ากัน ส่งผลให้ลดความต้องการพลังงานได้มากกว่า 95%¹³ สำหรับศูนย์ข้อมูล AI ที่กำลังดิ้นรนกับความหนาแน่นของพลังงานต่อแร็คอยู่แล้ว การปรับปรุงประสิทธิภาพเครือข่ายจะทวีคูณร่วมกับการปรับให้เหมาะสมด้านคอมพิวท์และระบบระบายความร้อน
ผลิตภัณฑ์สวิตช์เชิงพาณิชย์จากผู้ผลิตหลายรายใช้ซิลิกอน Tomahawk 5 N9600-64OD ของ FS.com ให้ 64x 800GbE พอร์ตพร้อม latency ระดับต่ำกว่าไมโครวินาที¹⁴ ซีรีส์ N9500 ของ NADDOD มีทั้งการกำหนดค่า 400G และ 800G ที่ปรับให้เหมาะสมสำหรับการติดตั้งศูนย์ข้อมูล AI¹⁵ ตระกูล 7060X6 AI Leaf ของ Arista ใช้ Tomahawk 5 สำหรับความจุ 51.2Tbps ในขนาด 2RU¹⁶
NVIDIA Spectrum-X สร้าง Ethernet แบบ AI-native
NVIDIA ออกแบบ Spectrum-X เป็นแพลตฟอร์มเครือข่าย Ethernet แรกที่สร้างขึ้นเฉพาะสำหรับภาระงาน AI แพลตฟอร์มนี้รวมสวิตช์ Spectrum SN5600 เข้ากับ BlueField-3 SuperNICs ช่วยเร่งประสิทธิภาพ generative AI ได้ 1.6 เท่าเมื่อเทียบกับการใช้งาน Ethernet แบบดั้งเดิม¹⁷
สวิตช์ Spectrum-X800 SN5600 ให้ 64 พอร์ตของ 800GbE โดยใช้ฟอร์มแฟกเตอร์ OSFP และความจุการสวิตช์รวม 51.2Tbps¹⁸ สถาปัตยกรรม Spectrum-4 ที่อยู่เบื้องหลังสวิตช์นี้เกินความสามารถของรุ่นก่อนหน้าทั้งในด้านความจุและความหนาแน่นของพอร์ต การผสานรวมกับ BlueField SuperNICs ช่วยให้สามารถควบคุมความคับคั่งอย่างประสานงาน การกำหนดเส้นทางแบบปรับตัว และการรวบรวมข้อมูล telemetry ครอบคลุมทั้ง network fabric
การติดตั้งในโลกจริงยืนยันสถาปัตยกรรมนี้ คลัสเตอร์ Colossus ของ xAI ใช้ Spectrum-X Ethernet ในการฝึกตระกูลโมเดลภาษาขนาดใหญ่ Grok บน GPU จำนวน 100,000 ตัว¹⁹ ระบบนี้สามารถทำ data throughput ได้ 95% ผ่านเทคโนโลยีควบคุมความคับคั่งที่ปรับให้เหมาะสมเฉพาะสำหรับรูปแบบการสื่อสารที่เป็นช่วง ๆ และประสานกันของการฝึก AI แบบกระจาย²⁰
การประกาศผลิตภัณฑ์ปี 2025 ขยายความสามารถของ Spectrum-X อย่างมีนัยสำคัญ สวิตช์ Spectrum-X Photonics ที่เปิดตัวในเดือนมีนาคม 2025 รวมวงจรอิเล็กทรอนิกส์เข้ากับการสื่อสารทางแสงในระดับขนาดใหญ่²¹ การกำหนดค่ารวมถึง 128 พอร์ตของ 800Gbps (รวม 100Tbps) และ 512 พอร์ตของ 800Gbps (รวม 400Tbps) ช่วยให้โรงงาน AI ที่เชื่อมต่อ GPU หลายล้านตัวในขณะที่ลดการใช้พลังงาน²²
Spectrum-XGS Ethernet ที่ประกาศในเดือนสิงหาคม 2025 แนะนำเทคโนโลยี scale-across ที่รวมศูนย์ข้อมูลแบบกระจายเข้าเป็นซูเปอร์โรงงาน AI ระดับ giga-scale ที่เป็นหนึ่งเดียว²³ เทคโนโลยีนี้แสดงถึงเสาหลักที่สามของการประมวลผล AI นอกเหนือจาก scale-up แบบดั้งเดิม (NVLink) และ scale-out (เครือข่ายมาตรฐาน) ช่วยให้องค์กรสามารถรวมโครงสร้างพื้นฐานแบบกระจายเข้าเป็นสภาพแวดล้อมการฝึกที่สอดคล้องกัน
ผู้ให้บริการคลาวด์รายใหญ่กำหนดมาตรฐานบน Spectrum-X Meta และ Oracle ประกาศในเดือนตุลาคม 2025 ว่าจะติดตั้งสวิตช์ Spectrum-X Ethernet เป็นสถาปัตยกรรมเครือข่ายเร่งความเร็วแบบเปิดที่เร่งประสิทธิภาพการฝึก AI²⁴ ระบบนิเวศที่มีหลายผู้ผลิตวางตำแหน่ง Spectrum-X ให้เป็นทั้งโซลูชันของ NVIDIA และแพลตฟอร์มอุตสาหกรรม
Ultra Ethernet Consortium สร้างมาตรฐานพร้อมสำหรับ AI
Ultra Ethernet Consortium เผยแพร่ Specification 1.0 เมื่อวันที่ 11 มิถุนายน 2025 สร้างกรอบการทำงานครอบคลุม 560 หน้าสำหรับเครือข่าย AI และ HPC²⁵ สมาคมนี้เปิดตัวในปี 2023 ภายใต้ Linux Foundation รวมบริษัทเทคโนโลยีกว่า 50 แห่งรวมถึง AMD, Intel, Broadcom, Cisco, Arista, Meta, Microsoft, Dell, Samsung และ Huawei²⁶
นวัตกรรมทางเทคนิคแก้ไขข้อจำกัดพื้นฐานใน Ethernet แบบดั้งเดิมสำหรับภาระงาน AI สเปคกำหนดการใช้งาน RDMA ที่ปรับปรุงแล้ว โปรโตคอลการขนส่ง และกลไกการควบคุมความคับคั่งที่ออกแบบสำหรับรูปแบบการสื่อสารที่ประสานกันและเป็นช่วง ๆ ของการฝึกแบบกระจาย²⁷
แนวทางการควบคุมความคับคั่งแตกต่างจากการใช้งาน RoCE แบบดั้งเดิมอย่างพื้นฐาน แนวทาง UEC ไม่พึ่งพาเครือข่ายแบบไม่สูญเสียข้อมูลตามที่ต้องการแบบดั้งเดิม โดยแนะนำโหมดที่ขับเคลื่อนโดยผู้รับซึ่ง endpoints สามารถจำกัดการส่งข้อมูลของผู้ส่งอย่างแข็งขันแทนที่จะอยู่เฉย ๆ²⁸ การเปลี่ยนแปลงนี้ช่วยให้สามารถสร้างเครือข่ายขนาดใหญ่ขึ้นพร้อมประสิทธิภาพที่ดีขึ้นสำหรับภาระงาน AI
เป้าหมายด้านประสิทธิภาพครอบคลุมการติดตั้งระดับคลัสเตอร์ สเปคมุ่งเป้าไปที่ round-trip times ระหว่าง 1 ถึง 20 ไมโครวินาทีข้ามคลัสเตอร์ โดยปรับให้เหมาะสมเฉพาะสำหรับสภาพแวดล้อมศูนย์ข้อมูลที่รันการฝึก AI, inference และภาระงาน HPC²⁹
การรับประกันความสามารถในการทำงานร่วมกันป้องกันการล็อคอินกับผู้ขายรายเดียว UEC Specification 1.0 ให้โซลูชันประสิทธิภาพสูงข้าม NICs, สวิตช์, อุปกรณ์ออปติกส์ และสายเคเบิล ช่วยให้สามารถผสานรวมหลายผู้ผลิตได้อย่างราบรื่น³⁰ มาตรฐานเปิดช่วยให้องค์กรสามารถจัดหาส่วนประกอบจากซัพพลายเออร์หลายรายในขณะที่รักษาความสม่ำเสมอของประสิทธิภาพ
ความพร้อมของผลิตภัณฑ์ตามหลังการเผยแพร่สเปค Arista ยืนยันการรองรับการปรับปรุงการสวิตช์ UEC 1.0 ข้ามพอร์ตโฟลิโอผลิตภัณฑ์ Etherlink เริ่มต้นด้วยแพลตฟอร์ม 7060X และ 7800R³¹ ฮาร์ดแวร์รองรับแบบ full-stack จากผู้ผลิตหลายรายจัดส่งภายในปลายปี 2025 หรือต้นปี 2026³²
Arista และ Cisco แข่งขันในแพลตฟอร์ม AI แบบโมดูลาร์
ผู้ผลิตเครือข่ายแบบดั้งเดิมปรับแพลตฟอร์มศูนย์ข้อมูลสำหรับความต้องการภาระงาน AI แข่งขันกับแนวทางที่สร้างขึ้นเฉพาะของ NVIDIA
ซีรีส์ 7800R4 ของ Arista เปิดตัวเมื่อวันที่ 29 ตุลาคม 2025 เป็นรุ่นที่สี่ของระบบ spine แบบโมดูลาร์ที่ออกแบบมาสำหรับการติดตั้ง AI³³ แพลตฟอร์มให้ throughput ระบบ 460Tbps (920Tbps full duplex) ข้ามการกำหนดค่าตั้งแต่ 4 ถึง 16 โมดูล line card³⁴ จำนวนพอร์ตสเกลได้ถึง 576x 800GbE หรือ 1152x 400GbE สำหรับการเชื่อมต่อคลัสเตอร์ขนาดใหญ่³⁵
7800R4 ใช้โปรเซสเซอร์ Broadcom Jericho3-AI พร้อม packet pipeline ที่ปรับให้เหมาะสมสำหรับ AI³⁶ เทคโนโลยี HyperPort รวมพอร์ต 800Gbps สี่พอร์ตเป็นการเชื่อมต่อรวม 3.2Tbps ช่วยให้เวลาในการทำงานสั้นลง 44% สำหรับ AI bandwidth flows เมื่อเทียบกับ load balancing แบบดั้งเดิมข้ามพอร์ตที่แยกกัน³⁷ แชสซีส์แบบโมดูลาร์และสวิตช์ 7280R4 แบบ fixed-form จัดส่งตอนนี้ โดยตัวแปร 7020R4 และ HyperPort linecards จะมาถึงใน Q1 2026³⁸
Cisco Silicon One รวมความสามารถในการ routing และ switching ด้วยประสิทธิภาพสูงสุด 51.2Tbps ขับเคลื่อนโดย G200 ASIC³⁹ สถาปัตยกรรมนี้กำหนดเป้าหมายทั้งเครือข่าย AI scale-out และ scale-up ด้วยความจุสูง latency ต่ำมาก และเวลาในการทำงานที่ลดลง⁴⁰
เราเตอร์โมดูลาร์ Cisco 8800 Series ให้พื้นฐานแชสซีส์ มีให้เลือกในการกำหนดค่า 4, 8, 12 และ 18-slot โดยทุกรุ่นรองรับ line cards 36x 800G (P100) รุ่นที่สามที่ใช้ Silicon One⁴¹ เราเตอร์ Cisco 8223 ให้ความจุ 51.2Tbps โดยใช้ชิปโปรแกรมได้ Silicon One P200⁴²
ความร่วมมือที่ขยายตัวระหว่าง Cisco-NVIDIA ผสานรวมชิป Silicon One เข้ากับสแต็ก Spectrum-X Ethernet รวม switching ที่มี latency ต่ำ การกำหนดเส้นทางแบบปรับตัว และ telemetry สำหรับการสนับสนุนคลัสเตอร์ GPU⁴³ การรองรับ SONiC (Software for Open Networking in the Cloud) บนสวิตช์ Cisco 8000 Series ช่วยให้องค์กรสามารถเลือกระบบปฏิบัติการเครือข่ายแบบเปิดที่ตรงกับความต้องการในการดำเนินงาน⁴⁴
RoCE ทำให้ Ethernet แข่งขันกับ InfiniBand ได้
RDMA over Converged Ethernet (RoCE) ช่วยให้เครือข่าย Ethernet สามารถเทียบเท่าประสิทธิภาพ InfiniBand สำหรับภาระงาน AI เมื่อกำหนดค่าอย่างถูกต้อง Meta เผยแพร่รายละเอียดทางวิศวกรรมสำหรับคลัสเตอร์ GPU 24,000 ตัวของพวกเขา ระบุว่าพวกเขาปรับแต่งทั้ง RoCE และ InfiniBand เพื่อให้ประสิทธิภาพเทียบเท่ากัน โดยโมเดลที่ใหญ่ที่สุดฝึกบน RoCE fabric ของพวกเขา⁴⁵
RoCE v2 พึ่งพาการกำหนดค่าเครือข่าย Ethernet แบบไม่สูญเสียข้อมูล Priority Flow Control ขจัดการสูญเสียแพ็กเก็ตสำหรับ traffic classes ที่เลือก Enhanced Transmission Selection จัดสรรแบนด์วิดท์ข้ามประเภททราฟฟิก Explicit Congestion Notification ส่งสัญญาณความคับคั่งเร็ว Dynamic Congestion Control ปรับให้เหมาะสมประสิทธิภาพ RDMA⁴⁶ หากไม่มีการกำหนดค่าที่ถูกต้องของกลไกเหล่านี้ ประสิทธิภาพ RoCE จะลดลงอย่างมีนัยสำคัญ
แพลตฟอร์มคลาวด์รายใหญ่ยืนยัน RoCE สำหรับภาระงาน AI ในโปรดักชัน ประเภทเครื่อง A3 Ultra และ A4 Compute Engine ของ Google Cloud ใช้ RoCEv2 สำหรับเครือข่าย GPU ประสิทธิภาพสูง⁴⁷ ซูเปอร์คลัสเตอร์ Zettascale10 ของ Oracle ใช้ Acceleron RoCE network fabric พร้อม Ethernet NICs เฉพาะที่มีสวิตช์สี่พอร์ตในตัวเพื่อลด latency⁴⁸
สถาปัตยกรรมคลัสเตอร์ AI ของ Meta แสดงให้เห็น RoCE ในระดับขนาดใหญ่ backend fabric เชื่อมต่อ RDMA NICs ทั้งหมดใน topology แบบ non-blocking ที่ให้แบนด์วิดท์สูง latency ต่ำ และการขนส่งแบบไม่สูญเสียข้อมูลระหว่าง GPU สองตัวใดก็ได้⁴⁹ topology แบบ Clos สองชั้นจัดระเบียบ AI racks เป็นโซน โดย rack training switches ทำหน้าที่เป็น leaf switches ที่เชื่อมต่อ GPUs ผ่านสาย copper DAC⁵⁰
การพิจารณาด้านต้นทุนเอื้อต่อ Ethernet สำหรับการติดตั้งหลายรายการ สำหรับบริษัทระดับ 2 และระดับ 3 ที่ติดตั้งคลัสเตอร์ GPU 256-1,024 ตัว Ethernet พร้อม RoCE เป็นคำแนะนำเริ่มต้น เว้นแต่ความต้องการ latency ที่เฉพาะเจาะจงและวัดได้จะพิสูจน์ต้นทุนเครือข่าย 2 เท่าของ InfiniBand⁵¹ กรณีศึกษาที่เผยแพร่ของ la
[เนื้อหาถูกตัดสำหรับการแปล]
