โครงสร้างพื้นฐานสำหรับการฝึกสอน vs การอนุมาน: การปรับแต่งสำหรับรูปแบบภาระงาน AI ที่แตกต่างกัน

อัปเดตเมื่อวันที่ 8 ธันวาคม 2025

อัปเดตธันวาคม 2025: H200 (141GB HBM3e) กำลังก้าวขึ้นมาเป็นหัวใจสำคัญของการฝึกสอน โดย Blackwell GB200 เริ่มใช้งานจริงในระดับ production แล้ว การอนุมานกำลังเปลี่ยนไปใช้ L40S, L4 และ AMD MI300X เพื่อประสิทธิภาพด้านต้นทุน—MI300X บรรลุความคุ้มค่าด้านราคาต่อประสิทธิภาพเทียบเท่า H100 สำหรับการอนุมานแล้ว Intel Gaudi 3 ได้รับความนิยมเพิ่มขึ้นบน IBM Cloud การทำ speculative decoding และ continuous batching (vLLM, TensorRT-LLM) กำลังเปลี่ยนแปลงเศรษฐศาสตร์ของการอนุมาน ช่องว่างระหว่างการฝึกสอนและการอนุมานกว้างขึ้น: การฝึกสอนต้องการ interconnect 800G+ ขณะที่การอนุมานทำงานได้บน Ethernet ทั่วไป

โครงสร้างพื้นฐานสำหรับการฝึกสอนใช้เงินหลายล้านดอลลาร์ตลอดหลายเดือนเพื่อสร้างโมเดลหนึ่งตัว ในขณะที่โครงสร้างพื้นฐานสำหรับการอนุมานให้บริการโมเดลนั้นหลายพันล้านครั้งด้วยความหน่วงระดับไมโครวินาที การฝึกสอน GPT-4 ครั้งเดียวมีค่าใช้จ่าย 100 ล้านดอลลาร์และต้องใช้ A100 GPU 25,000 ตัวทำงานต่อเนื่อง 90 วัน การให้บริการโมเดลนั้นต้องใช้ GPU 128,000 ตัวกระจายทั่วโลก โดยปรับแต่งเพื่อความหน่วงมากกว่า throughput รูปแบบภาระงานที่แตกต่างกันโดยพื้นฐานเหล่านี้ต้องการแนวทางโครงสร้างพื้นฐานที่แตกต่างกัน ซึ่งองค์กรมักสับสนรวมกัน ทำให้ต้นทุนสูงขึ้น 40% และการใช้งานต่ำลง 60%

ลักษณะพื้นฐานของภาระงาน

ภาระงานการฝึกสอนแสดงการประมวลผลแบบขนานขนาดใหญ่พร้อมรูปแบบการซิงโครไนซ์ที่สม่ำเสมอ Forward pass ประมวลผล batch ที่มีตัวอย่างหลายพันรายการพร้อมกัน คำนวณ gradient ที่ซิงโครไนซ์ข้าม GPU ทั้งหมดที่เข้าร่วมในทุก iteration การดำเนินการ all-reduce นี้ต้องการ bandwidth รวมเกิน 1.6Tb/s สำหรับโมเดลภาษาขนาดใหญ่ งานฝึกสอนทำงานต่อเนื่องเป็นสัปดาห์หรือเดือน โดยบันทึก checkpoint ทุกชั่วโมง ความล้มเหลวของฮาร์ดแวร์ต้องตรวจจับและกู้คืนทันทีเพื่อป้องกันการคำนวณที่สูญเปล่า

ภาระงานการอนุมานประมวลผลคำขอแต่ละรายการด้วยข้อกำหนดความหน่วงระดับมิลลิวินาที ขนาด batch โดยทั่วไปอยู่ระหว่าง 1 ถึง 32 ถูกจำกัดโดยข้อจำกัดด้านความหน่วงมากกว่าความจุหน่วยความจำ รูปแบบคำขอเป็นไปตามวงจรกลางวัน-กลางคืนที่มีความแปรผัน 10 เท่าระหว่างจุดสูงสุดและต่ำสุด การกระจายทางภูมิศาสตร์รับประกันความหน่วงต่ำกว่า 100ms สำหรับผู้ใช้ทั่วโลก ความล้มเหลวของฮาร์ดแวร์ส่งผลกระทบต่อความพร้อมใช้งานของบริการทันที ต้องการความซ้ำซ้อนและความสามารถในการ failover อย่างรวดเร็ว

รูปแบบการเข้าถึงหน่วยความจำแตกต่างกันอย่างมากระหว่างภาระงาน การฝึกสอนทำการเข้าถึงหน่วยความจำแบบสม่ำเสมอและคาดเดาได้ ปรับแต่งเพื่อการใช้ bandwidth Batch ขนาดใหญ่แบ่งเฉลี่ยค่าใช้จ่ายในการถ่ายโอนหน่วยความจำข้ามตัวอย่างหลายรายการ น้ำหนักโมเดลยังคงที่ในขณะที่ activation และ gradient ไหลผ่านลำดับชั้นหน่วยความจำ การอนุมานแสดงรูปแบบการเข้าถึงที่ไม่สม่ำเสมอขึ้นอยู่กับลำดับ input Dynamic batching และความยาว sequence ที่แตกต่างกันสร้างความต้องการหน่วยความจำที่คาดเดาไม่ได้ Key-value caching สำหรับโมเดล transformer ใช้หลาย GB ต่อคำขอ

เมตริกการใช้งานการประมวลผลเผยให้เห็นความแตกต่างพื้นฐาน การฝึกสอนบรรลุการใช้งาน GPU 85-95% ผ่านการปรับขนาด batch อย่างระมัดระวังและการปรับแต่ง data pipeline Memory bandwidth กลายเป็นคอขวดสำหรับโมเดลขนาดใหญ่ โดยหน่วยประมวลผลรอการเคลื่อนย้ายข้อมูล การอนุมานไม่ค่อยเกิน 40% ของการใช้งานเนื่องจากข้อจำกัดด้านความหน่วงและความแปรผันของคำขอ Batch ขนาดเล็กใช้ความสามารถในการประมวลผลแบบขนานไม่เต็มที่ ค่าใช้จ่ายในการถ่ายโอนเครือข่ายและการประมวลผลล่วงหน้าลดการใช้งานที่มีประสิทธิภาพลงอีก

รูปแบบการสื่อสารแยกแยะการฝึกสอนแบบกระจายจากการให้บริการการอนุมาน การฝึกสอนต้องการการสื่อสารแบบ all-to-all สำหรับการซิงโครไนซ์ gradient สร้างทราฟฟิกต่อเนื่อง 100Gb/s ระหว่างโหนด โทโพโลยีเครือข่ายส่งผลกระทบอย่างมากต่อประสิทธิภาพการฝึกสอน โดยคอขวดใดๆ จะลด throughput โดยรวม การสื่อสารการอนุมานยังคงเป็นส่วนใหญ่ระหว่าง client กับ server โดยมีทราฟฟิกระหว่างโหนดน้อยมากยกเว้นการให้บริการแบบ model parallel Load balancer กระจายคำขอข้าม inference node อย่างอิสระ

กลยุทธ์การปรับแต่งฮาร์ดแวร์

การเลือก GPU แตกต่างกันอย่างมากระหว่างการปรับใช้การฝึกสอนและการอนุมาน คลัสเตอร์การฝึกสอนให้ความสำคัญกับ NVIDIA H100 GPU ที่มีหน่วยความจำ HBM3 80GB รองรับความจุโมเดลเต็มรูปแบบ Memory bandwidth 3.35TB/s ช่วยให้การคำนวณ gradient และอัปเดตพารามิเตอร์รวดเร็ว NVLink interconnect ที่ให้ bandwidth 900GB/s ระหว่าง GPU เร่งการดำเนินการ collective องค์กรลงทุน $30,000 ต่อ H100 สำหรับโครงสร้างพื้นฐานการฝึกสอน ยอมรับราคาพรีเมียมเพื่อประสิทธิภาพสูงสุด

การปรับใช้การอนุมานนิยมใช้ NVIDIA L40S หรือ L4 GPU ที่ปรับแต่งเพื่อประสิทธิภาพด้านต้นทุนมากขึ้น L40S ที่มีหน่วยความจำ 48GB รองรับภาระงานการอนุมานส่วนใหญ่ในราคา $15,000 ต่อ GPU L4 GPU ราคา $5,000 แต่ละตัวเหมาะสำหรับการปรับใช้ edge และโมเดลขนาดเล็ก AMD MI210 GPU ให้ประสิทธิภาพการอนุมานที่แข่งขันได้ในราคา 60% ของ NVIDIA Intel Gaudi2 accelerator บรรลุ throughput การอนุมานที่ใกล้เคียงกันสำหรับโมเดล transformer ในราคา $10,000 ต่อหน่วย ความหลากหลายนี้ลดต้นทุนการอนุมานลง 50% เมื่อเทียบกับฮาร์ดแวร์การฝึกสอน

การปรับแต่งลำดับชั้นหน่วยความจำแตกต่างกันระหว่างภาระงาน การฝึกสอนต้องการความจุ HBM สูงสุดเพื่อเก็บพารามิเตอร์โมเดล, optimizer state และ gradient พร้อมกัน โมเดลพารามิเตอร์ 70B ต้องการ 840GB สำหรับการฝึกสอน mixed precision รวมถึง Adam optimizer state การอนุมานต้องการเฉพาะน้ำหนักโมเดลและหน่วยความจำ activation ต้องการ 140GB สำหรับโมเดลเดียวกัน การลดลง 6 เท่านี้ทำให้สามารถปรับใช้บน GPU ที่เล็กกว่าและราคาถูกกว่า

ความต้องการ CPU แตกต่างกันตามความต้องการการประมวลผลล่วงหน้า คลัสเตอร์การฝึกสอนจัดสรร CPU core 32 ตัวต่อ GPU สำหรับการโหลดข้อมูล, augmentation และการประมวลผลล่วงหน้า NVMe storage ประสิทธิภาพสูงป้อน training pipeline ที่ 10GB/s ต่อโหนด Inference server ต้องการทรัพยากร CPU น้อยกว่า โดยทั่วไป 8-16 core ต่อ GPU เน้นที่การ routing คำขอและการจัดรูปแบบการตอบกลับ การปรับใช้ edge inference อาจใช้การให้บริการด้วย CPU เท่านั้นสำหรับโมเดลต่ำกว่าพารามิเตอร์ 7B

ทางเลือก accelerator ให้ตัวเลือกที่คุ้มค่าสำหรับภาระงานเฉพาะ Google TPU v4 pod เก่งในการฝึกสอนขนาดใหญ่ด้วยชิป 4,096 ตัวที่ให้ 1.1 exaflops AWS Inferentia2 chip ปรับแต่งการอนุมานที่ $0.75 ต่อล้าน token ถูกกว่าการให้บริการด้วย GPU 70% ระบบ Cerebras CS-2 เร่งการฝึกสอนสำหรับโมเดลที่อยู่ภายในหน่วยความจำ 40GB accelerator เฉพาะทางเหล่านี้ลดต้นทุนเมื่อรูปแบบภาระงานตรงกับพารามิเตอร์การออกแบบของพวกมัน

ข้อกำหนดสถาปัตยกรรมเครือข่าย

เครือข่ายการฝึกสอนต้องการ bandwidth สูงสุดพร้อมความหน่วงต่ำสุดสำหรับการดำเนินการ collective การปรับใช้ InfiniBand โดยใช้ switch NDR 400Gb/s ให้ความหน่วงน้อยกว่า 1 ไมโครวินาทีสำหรับการดำเนินการ RDMA โทโพโลยี fat-tree รับประกันการสื่อสารแบบ non-blocking ระหว่างคู่ GPU ใดๆ การออกแบบแบบ rail-optimized อุทิศเส้นทางเครือข่ายแยกต่างหากสำหรับการรวม gradient และการสื่อสาร parameter server Meta's Research SuperCluster ใช้ 4-rail InfiniBand ให้ bandwidth รวม 1.6Tb/s ต่อ GPU

เครือข่ายการอนุมานให้ความสำคัญกับการกระจายทางภูมิศาสตร์และการเชื่อมต่อ edge การรวม Content Delivery Network (CDN) ลดความหน่วงสำหรับผู้ใช้ทั่วโลก Anycast routing นำทางคำขอไปยังคลัสเตอร์การอนุมานที่ใกล้ที่สุดที่พร้อมใช้งาน Ethernet 100Gb/s เพียงพอสำหรับการปรับใช้การอนุมานส่วนใหญ่ โดย RoCEv2 เปิดใช้งาน RDMA เมื่อจำเป็น Load balancer กระจายคำขอข้าม GPU ที่พร้อมใช้งานตามการใช้งานปัจจุบันและเวลาตอบสนอง

รูปแบบทราฟฟิก east-west แตกต่างกันอย่างมาก การฝึกสอนสร้างการแลกเปลี่ยน gradient 100TB ต่อวันสำหรับการฝึกสอนโมเดลขนาดใหญ่ การดำเนินการ all-reduce สร้างจุดร้อนที่ต้องการการออกแบบเครือข่ายอย่างระมัดระวัง ทราฟฟิกการอนุมานยังคงเป็นส่วนใหญ่แบบ north-south ระหว่าง client และ server การให้บริการโมเดลสร้างทราฟฟิกการตอบกลับ 1-10GB/s ต่อ GPU ขึ้นอยู่กับอัตราคำขอและขนาด output

ข้อกำหนดความยืดหยุ่นของเครือข่ายสะท้อนลักษณะภาระงาน เครือข่ายการฝึกสอนทนต่อการหยุดชะงักสั้นๆ ผ่านกลไกการกู้คืน checkpoint การหยุดทำงานที่ยืดเยื้อเสียการคำนวณราคาแพง กระตุ้นให้มีเส้นทางเครือข่ายซ้ำซ้อน เครือข่ายการอนุมานต้องการ failover ทันทีเพื่อรักษาความพร้อมใช้งานของบริการ เวลา BGP convergence ต่ำกว่า 1 วินาทีรับประกันผลกระทบต่อผู้ใช้น้อยที่สุดระหว่างความล้มเหลว

ข้อพิจารณาด้านความปลอดภัยมีอิทธิพลต่อการออกแบบเครือข่ายแตกต่างกัน เครือข่ายการฝึกสอนทำงานภายในสภาพแวดล้อมที่เชื่อถือได้ ให้ความสำคัญกับประสิทธิภาพมากกว่าการเข้ารหัส การควบคุมการเข้าถึง dataset และการปกป้อง model checkpoint เป็นจุดเน้นความพยายามด้านความปลอดภัย เครือข่ายการอนุมานเผชิญการเปิดเผยต่ออินเทอร์เน็ตต้องการการเข้ารหัส TLS, การป้องกัน DDoS และการยืนยันตัวตน API Web Application Firewall กรองคำขอที่เป็นอันตรายก่อนถึง inference server

รูปแบบการออกแบบระบบจัดเก็บข้อมูล

ระบบจัดเก็บข้อมูลการฝึกสอนปรับแต่งสำหรับ throughput แบบ sequential ที่ยั่งยืน ระบบไฟล์แบบขนานเช่น Lustre หรือ GPFS ให้ bandwidth รวม 100GB/s สำหรับการสตรีม dataset NVMe-oF (NVMe over Fabrics) ส่ง dataset shard โดยตรงไปยังหน่วยความจำ GPU ชั้น distributed caching โดยใช้ Alluxio หรือ JuiceFS เร่งการประมวลผล epoch ที่ซ้ำกัน โครงสร้างพื้นฐานการฝึกสอนของ OpenAI บรรลุ bandwidth การจัดเก็บรวม 1TB/s ข้ามคลัสเตอร์ของพวกเขา

การจัดเก็บ checkpoint ต้องการการปรับแต่งที่แตกต่างกัน การฝึกสอนเขียน checkpoint 50-100TB ทุก 4 ชั่วโมงสำหรับโมเดลขนาดใหญ่ ระบบ object storage เช่น MinIO หรือ Ceph จัดการการเขียน checkpoint โดยไม่รบกวน throughput การฝึกสอน Erasure coding ให้ความทนทานต่อข้อผิดพลาดด้วยค่าใช้จ่ายการจัดเก็บ 20% เมื่อเทียบกับ 200% สำหรับการทำซ้ำ Tiered storage ย้าย checkpoint เก่าไปยังสื่อที่ถูกกว่าในขณะที่รักษา checkpoint ล่าสุดบน NVMe เพื่อการกู้คืนอย่างรวดเร็ว

การจัดเก็บการอนุมานเน้นที่ความเร็วในการโหลดโมเดลและ caching โมเดลโหลดจาก object storage เมื่อเริ่มต้น inference container ต้องใช้เวลา 10-30 วินาทีสำหรับโมเดลพารามิเตอร์ 70B Local NVMe caching เร่งการโหลดโมเดลครั้งต่อไปให้ต่ำกว่า 2 วินาที Key-value cache สำหรับโมเดล transformer คงอยู่ข้ามคำขอ ต้องการการจัดเก็บความเร็วสูง 100GB-1TB ต่อ inference node Redis หรือ Apache Ignite ให้ distributed caching สำหรับ context ที่แชร์ข้าม inference server

Dataset versioning และการติดตาม lineage รองรับความสามารถในการทำซ้ำของการฝึกสอน Data Version Control (DVC) หรือ Delta Lake ติดตามการแก้ไข dataset เมื่อเวลาผ่านไป Metadata store บันทึกเวอร์ชัน dataset ที่แน่นอนที่ใช้สำหรับการฝึกสอนแต่ละครั้ง Feature store เช่น Tecton หรือ Feast ให้ feature ที่สอดคล้องกันระหว่างการฝึกสอนและการอนุมาน ระบบเหล่านี้ป้องกัน training-serving skew ที่ลดประสิทธิภาพโมเดล

กลยุทธ์ storage tiering แตกต่างกันตามรูปแบบการเข้าถึง Dataset การฝึกสอนย้ายผ่านระดับ NVMe → SSD → HDD → Glacier ตามความถี่การเข้าถึง Hot dataset ยังคงอยู่บน NVMe ที่ให้ 7GB/s ต่อไดรฟ์ การจัดเก็บการอนุมานรักษาโมเดลบน NVMe อย่างไม่มีกำหนดเนื่องจากการเข้าถึงอย่างต่อเนื่อง ข้อมูล logging และ metrics เป็นไปตามรูปแบบ tiering แบบดั้งเดิมที่เป็นอิสระจากภาระงาน AI

กลยุทธ์และรูปแบบการปรับขนาด

การปรับขนาดแนวนอนสำหรับการฝึกสอนต้องพิจารณาค่าใช้จ่ายในการสื่อสารอย่างรอบคอบ Weak scaling รักษาขนาด batch คงที่ต่อ GPU เพิ่มขนาด batch ทั่วโลกตามขนาดคลัสเตอร์ Strong scaling แบ่งขนาด batch ทั่วโลกที่คงที่ข้าม GPU มากขึ้น ปรับปรุง time-to-train แต่ลดประสิทธิภาพ Linear scaling บรรลุประสิทธิภาพ 90% จนถึง 512 GPU สำหรับโมเดลส่วนใหญ่ เกินจุดนี้ ค่าใช้จ่ายในการสื่อสารครอบงำ ลดประสิทธิภาพต่ำกว่า 70%

Model parallelism ช่วยให้ฝึกสอนโมเดลที่เกินความจุหน่วยความจำ GPU เดียวได้ Pipeline parallelism แบ่งโมเดลข้าม GPU ตาม layer บรรลุประสิทธิภาพ 80% ด้วยการจัดตารางอย่างระมัดระวัง Tensor parallelism แบ่ง layer แต่ละ layer ข้าม GPU ต้องการ interconnect bandwidth สูง Expert parallelism สำหรับโมเดล Mixture-of-Experts ปรับขนาดได้ถึงหลายพัน GPU เทคนิคเหล่านี้รวมกันในกลยุทธ์ 3D parallelism โดย GPT-4 ใช้ทั้งสามมิติข้าม GPU 25,000 ตัว

การปรับขนาดการอนุมานเป็นไปตามรูปแบบที่ขับเคลื่อนด้วยคำขอ Horizontal pod autoscaling ใน Kubernetes ตอบสนองต่อ CPU, หน่วยความจำ หรือ custom metric การตัดสินใจปรับขนาดพิจารณาบทลงโทษ cold start 10-30 วินาทีสำหรับการโหลดโมเดล Predictive autoscaling โดยใช้รูปแบบในอดีตจัดเตรียมความจุล่วงหน้าสำหรับความต้องการที่คาดการณ์ไว้ การรวม spot instance ลดต้นทุน 60% สำหรับภาระงานการอนุมานที่ทนต่อข้อผิดพลาด

กลยุทธ์การกระจายทางภูมิศาสตร์แตกต่างกันโดยพื้นฐาน คลัสเตอร์การฝึกสอนรวมศูนย์ในที่ตั้งเดียว

[เนื้อหาถูกตัดทอนสำหรับการแปล]