Kubernetes cho Điều Phối GPU: Quản Lý Cụm GPU Hàng Nghìn Đơn Vị

Cập nhật ngày 8 tháng 12, 2025

Cập nhật tháng 12/2025: Kubernetes 1.31+ Dynamic Resource Allocation (DRA) hiện đã GA, cho phép phân vùng GPU chi tiết và time-slicing. NVIDIA GPU Operator 24.6+ bổ sung hỗ trợ Blackwell và cải thiện quản lý MIG. Kueue (hàng đợi công việc gốc Kubernetes) đạt độ trưởng thành sản xuất cho workload AI. Run:ai và CoreWeave trình diễn cụm GPU 50.000+ trên Kubernetes. Công cụ liên kết đa cụm (Liqo, Admiralty) cho phép điều phối GPU liên cloud. Hỗ trợ vGPU cải thiện cho triển khai inference đa tenant.

OpenAI điều phối 25.000 GPU qua nhiều cụm Kubernetes để train mô hình GPT, sử dụng operator tùy chỉnh tự động xử lý lỗi GPU, cân bằng lại workload theo thời gian thực, và duy trì 97% sử dụng mặc dù lỗi phần cứng xảy ra trung bình mỗi 2.5 giờ.¹ Nhóm infrastructure của công ty phát hiện Kubernetes vanilla sụp đổ ở khoảng 5.000 node mà không có sửa đổi rộng rãi, buộc họ triển khai liên kết cụm phân cấp, thuật toán lập lịch tùy chỉnh, và autoscaling nhận biết GPU xem mỗi H100 $30.000 như tài nguyên quý giá cần theo dõi riêng lẻ. Quản lý GPU quy mô lớn khác biệt cơ bản với điều phối CPU—một GPU lỗi trong quá trình training phân tán có thể lãng phí hàng triệu thời gian tính toán, trong khi lập lịch kém tách riêng GPU kết nối qua NVLink gây suy giảm hiệu suất 8x. Các tổ chức thành công điều phối hàng nghìn GPU trên Kubernetes báo cáo sử dụng tốt hơn 35%, thời gian triển khai nhanh hơn 60%, và giảm 90% overhead vận hành so với quản lý bare-metal.²

Kubernetes thống trị điều phối container với 88% thị phần, nhưng hỗ trợ GPU đến muộn và vẫn thách thức quy mô lớn.³ NVIDIA GPU Operator, ra mắt 2019, cuối cùng mang quản lý GPU cấp doanh nghiệp đến Kubernetes, cho phép tính năng như cài đặt driver động, triển khai device plugin tự động, và giám sát sức khỏe GPU. Tổ chức chạy workload AI trên Kubernetes phải điều hướng cấu hình device plugin, quy tắc node affinity, lập lịch nhận biết topology, và quota tài nguyên ngăn nhóm đơn lẻ độc quyền tài nguyên GPU. Tuy nhiên những người thành thạo Kubernetes cho điều phối GPU có khả năng xem hàng nghìn GPU như pool tài nguyên lập trình đơn lẻ, đạt tỷ lệ sử dụng và hiệu quả vận hành không thể với scheduler HPC truyền thống.

Kiến trúc GPU device plugin

Framework device plugin Kubernetes cho phép khám phá, phân bổ và giám sát sức khỏe GPU qua cụm:

NVIDIA GPU Device Plugin phục vụ như giao diện chính giữa Kubernetes và NVIDIA GPU.⁴ Plugin chạy như DaemonSet trên mỗi GPU node, đăng ký GPU như tài nguyên lập lịch với kubelet. Trong quá trình khởi tạo, plugin truy vấn NVIDIA Management Library (NVML) để khám phá GPU sẵn có, dung lượng memory, khả năng tính toán, và topology kết nối. Plugin quảng cáo GPU đến Kubernetes scheduler sử dụng tên tài nguyên nvidia.com/gpu, cho phép pod yêu cầu GPU qua thông số tài nguyên chuẩn.

Luồng Đăng Ký Device Plugin: 1. Plugin bắt đầu và khám phá GPU cục bộ qua NVML 2. Đăng ký với kubelet qua Unix socket tại /var/lib/kubelet/device-plugins/ 3. Quảng cáo GPU sẵn có với ID thiết bị duy nhất 4. Triển khai Allocate() RPC cho phân bổ GPU container 5. Giám sát sức khỏe GPU và báo cáo lỗi đến kubelet 6. Xử lý dọn dẹp GPU trong quá trình kết thúc pod

Hỗ trợ Multi-Instance GPU (MIG) cho phép phân vùng GPU A100 và H100 thành instance cô lập.⁵ Mỗi instance MIG xuất hiện như GPU riêng biệt với Kubernetes, cho phép phân bổ tài nguyên chi tiết. Device plugin quản lý profile MIG, xử lý tạo, xóa và phân bổ instance. Tổ chức đạt sử dụng GPU tốt hơn 7x bằng phân vùng GPU sử dụng thấp cho workload nhỏ hơn. Cấu hình MIG yêu cầu lập kế hoạch cẩn thận vì chế độ phân vùng không thể thay đổi mà không drain node.

Device Plugin Thay Thế cung cấp đa dạng nhà cung cấp: - AMD Device Plugin hỗ trợ GPU hỗ trợ ROCm như MI250X - Intel Device Plugin quản lý GPU Intel và accelerator Gaudi - Xilinx FPGA Device Plugin điều phối tài nguyên FPGA - Google TPU Device Plugin cho cụm GKE

Chiến lược lập lịch cho workload GPU

Lập lịch GPU hiệu quả tối đa hóa sử dụng trong khi duy trì hiệu suất:

Gang Scheduling đảm bảo job training phân tán nhận tất cả GPU yêu cầu đồng thời. Không có gang scheduling, phân bổ tài nguyên một phần gây deadlock—job chờ mãi mãi GPU còn lại không bao giờ sẵn có. Plugin scheduler Kubernetes như Volcano và Apache YuniKorn triển khai gang scheduling qua PodGroup.⁶ Job chỉ định yêu cầu GPU tối thiểu, và scheduler hoặc phân bổ tất cả tài nguyên hoặc xếp hàng toàn bộ job. Gang scheduling giảm sử dụng cụm 10-15% nhưng ngăn đói job training.

Topology-Aware Scheduling tối ưu hóa đặt GPU dựa trên kết nối phần cứng. GPU kết nối qua NVLink đạt băng thông 600GB/s so với 32GB/s qua PCIe.⁷ Scheduler kiểm tra topology node để đặt pod liên quan trên GPU với kết nối nhanh. NVIDIA GPU Feature Discovery gắn nhãn node với thông tin topology cho phép quy tắc affinity. Quyết định topology kém gây suy giảm hiệu suất 3-8x cho workload nặng giao tiếp. Nhận biết topology trở nên quan trọng vượt 8 GPU mỗi job.

Bin Packing vs Spreading: Bin packing hợp nhất workload trên ít node hơn, cải thiện locality cache và giảm lưu lượng mạng. Spreading phân phối công việc qua node để chịu lỗi tốt hơn và quản lý nhiệt. Chiến lược tối ưu phụ thuộc đặc tính workload—job training hưởng lợi từ bin packing trong khi inference ưu tiên spreading. Chiến lược động điều chỉnh dựa trên sử dụng cụm và hỗn hợp workload.

Priority và Preemption: Workload sản xuất nhận priority cao hơn job phát triển. Scheduler preempt pod priority thấp hơn khi tài nguyên khan hiếm. Cấu hình priority cẩn thận ngăn job nghiên cứu chặn inference sản xuất. Preemption checkpointing đảm bảo tiến độ training không bị mất. Class priority từ system-critical (1000000) đến development (100).

Fair Sharing và Quota: Quota tài nguyên ngăn nhóm đơn lẻ độc quyền GPU. Quota phân cấp cho phép giới hạn toàn tổ chức với sub-quota nhóm cụ thể. Fair share scheduling đảm bảo phân phối tài nguyên công bằng theo thời gian. Người dùng tiêu thụ ít tài nguyên tích lũy tín dụng cho khả năng burst tương lai. Hệ thống hàng đợi như Kueue cung cấp xếp hàng job với kiểm soát nhập học tinh vi.

Cân nhắc mở rộng

Mở rộng Kubernetes đến hàng nghìn GPU yêu cầu sửa đổi kiến trúc:

Giới Hạn Kích Thước Cụm: Cụm Kubernetes đơn hỗ trợ tối đa 5.000 node trước khi hiệu suất etcd suy giảm.⁸ Tải API server tăng bậc hai với số lượng node do cơ chế watch. Vòng lặp reconciliation controller manager chậm vượt 1.000 node. Network policy trở nên cồng kềnh quy mô lớn. Hầu hết tổ chức giới hạn cụm 500-1.000 GPU node cho ổn định vận hành.

Multi-Cluster Federation: Triển khai lớn sử dụng nhiều cụm Kubernetes quản lý qua federation. Admiralty hoặc Virtual Kubelet cho phép lập lịch liên cụm. Công cụ GitOps như Flux hoặc ArgoCD đồng bộ cấu hình qua cụm. Công nghệ service mesh cung cấp mạng liên cụm. Federation thêm phức tạp nhưng cho phép mở rộng ngang vượt giới hạn cụm đơn.

Quản Lý Tài Nguyên Phân Cấp: Tổ chức cụm phân cấp với cụm quản lý kiểm soát cụm workload. Cụm quản lý chạy component control plane và logic lập lịch. Cụm workload host GPU pod mà không có controller phức tạp. Thiết kế phân cấp giảm blast radius lỗi. Tách rõ mối quan tâm đơn giản hóa khắc phục sự cố.

Custom Resource Definition (CRD) cho workload AI: - TrainingJob: Định nghĩa thông số training phân tán - InferenceService: Quản lý triển khai serving mô hình - GPUPool: Đại diện nhóm GPU logic - Checkpoint: Xử lý persistence trạng thái training - ModelVersion: Theo dõi iteration mô hình và lineage

Tối ưu hiệu suất cho quy mô: - Tắt admission webhook không sử dụng giảm độ trễ API - Triển khai pod topology spread constraint cho phân phối đều - Sử dụng SSD cục bộ cho container image tránh bottleneck mạng - Bật CPU manager cho phân bổ CPU đảm bảo - Cấu hình huge page cho yêu cầu memory mô hình lớn

Giám sát và quan sát

Giám sát toàn diện ngăn thời gian GPU idle hàng triệu đô:

NVIDIA Data Center GPU Manager (DCGM) cung cấp metric GPU cụ thể không có qua giám sát Kubernetes chuẩn.⁹ DCGM xuất 100+ metric bao gồm sử dụng SM, băng thông memory, nhiệt độ, tiêu thụ điện, và lỗi ECC. Tích hợp Prometheus cho phép lưu trữ metric dài hạn và cảnh báo. Dashboard Grafana hiển thị hiệu suất GPU qua toàn bộ fleet. Cảnh báo tùy chỉnh phát hiện GPU sử dụng thấp, throttling nhiệt, và suy giảm phần cứng trước khi lỗi xảy ra.

Metric GPU Chính cho giám sát Kubernetes: - GPU Utilization: Phần trăm SM hoạt động (mục tiêu >90%) - Memory Utilization: GPU memory phân bổ versus sẵn có - Power Draw: Thực tế versus TDP chỉ thị throttling - Temperature: Nhiệt độ GPU và memory - PCIe Bandwidth: Tỷ lệ chuyển dữ liệu đến/từ GPU - NVLink Traffic: Băng thông giao tiếp inter-GPU - Training Metrics: Đường cong loss, gradient norm, learning rate - Inference Metrics: Request mỗi giây, độ trễ P99, kích thước batch

Distributed Tracing theo dõi request qua nhiều GPU và node. Instrumentation OpenTelemetry capture thời gian bước training, độ trễ tải dữ liệu, và thời lượng checkpoint. Jaeger hoặc Tempo cung cấp lưu trữ và phân tích trace phân tán. Tương quan giữa trace và metric xác định bottleneck hiệu suất. Khả năng hiển thị end-to-end giảm 70% thời gian trung bình đến giải quyết.

Log Aggregation tập trung log từ hàng nghìn GPU pod. Fluentd hoặc Fluent Bit thu thập container log với overhead tối thiểu. Elasticsearch lưu trữ log với indexing tự động và chính sách retention. Kibana cho phép tìm kiếm và phân tích log qua toàn bộ cụm. Structured logging với định dạng nhất quán đơn giản hóa khắc phục sự cố. Cảnh báo về pattern lỗi chỉ thị vấn đề hệ thống.

Introl triển khai và quản lý cụm Kubernetes cho điều phối GPU qua khu vực phủ sóng toàn cầu của chúng tôi, với chuyên môn mở rộng đến triển khai GPU 10.000+.¹⁰ Nhóm kỹ sư platform của chúng tôi đã triển khai operator tùy chỉnh và cải tiến lập lịch cho sử dụng GPU tối ưu.

Mẫu triển khai sản xuất

Kiến Trúc Cụm Training tại Anthropic: - Quy mô: 4.000 GPU qua 8 cụm Kubernetes - Topology: Federation phân cấp với scheduler trung tâm - Storage: Hệ thống file Lustre phân tán cho dữ liệu training - Networking: Fabric RoCE v2 với 200Gbps mỗi node - Scheduling: Gang scheduler tùy chỉnh với nhận biết topology - Monitoring: DCGM + Prometheus với khoảng scrape 15 giây - Kết quả: 94% sử dụng GPU, giảm 50% thời gian training

Inference Platform tại Uber: - Workload: 500 triệu prediction hàng ngày - Infrastructure: 2.000 T4 GPU qua 20 region - Orchestration: Kubernetes với Knative cho serverless - Autoscaling: Scaling dự đoán dựa pattern traffic - Load Balancing: Envoy proxy với routing least-latency - Optimization: Model caching giảm cold start xuống 2 giây - Outcome: Giảm 65% chi phí versus kiến trúc trước

Hybrid Training-Inference tại Spotify: - GPU: 3.000 fleet hỗn hợp V100/A100/T4 - Scheduling: Time-sliced sharing cho phát triển - Isolation: Kata container cho bảo mật multi-tenant - Cos