Triển khai vLLM trong Production: Xây dựng Kiến trúc Inference Serving Thông lượng Cao

Cập nhật ngày 11 tháng 12, 2025

Cập nhật tháng 12/2025: Stripe đạt được mức giảm 73% chi phí inference thông qua việc migration sang vLLM (50 triệu API calls hàng ngày trên 1/3 GPU fleet). PagedAttention loại bỏ 60-80% memory waste từ KV cache fragmentation. vLLM mang lại thông lượng 2-24x so với conventional serving. Đang hỗ trợ production tại Meta, Mistral AI, Cohere, IBM. OpenAI-compatible APIs đơn giản hóa việc adoption.

Đội ngũ ML platform của Stripe chứng kiến chi phí inference giảm 73% sau khi migration từ Hugging Face Transformers sang vLLM, xử lý cùng 50 triệu API calls hàng ngày chỉ với 1/3 GPU fleet.¹ Bí mật đằng sau hiệu quả của vLLM nằm ở PagedAttention, một thuật toán xử lý GPU memory như virtual memory trong operating systems, loại bỏ fragmentation gây lãng phí 60-80% memory trong các hệ thống inference truyền thống.² Các tổ chức vận hành production LLM workloads phát hiện rằng vLLM mang lại cải thiện thông lượng 2-24x so với các framework serving thông thường, thay đổi hoàn toàn tính kinh tế của việc triển khai large language models ở quy mô lớn.³

Bối cảnh inference serving phân mảnh thành hàng chục lựa chọn: TensorRT-LLM hứa hẹn tối ưu hóa NVIDIA tối đa, Hugging Face TGI cung cấp integration quen thuộc, và Ollama đơn giản hóa local deployment. Tuy nhiên vLLM đã nổi lên như lựa chọn thống trị cho production workloads, cung cấp inference tại Meta, Mistral AI, Cohere, và IBM.⁴ Sự kết hợp giữa PagedAttention, continuous batching, và OpenAI-compatible APIs của framework tạo ra trải nghiệm deployment cân bằng giữa raw performance với operational simplicity. Hiểu rõ kiến trúc và deployment patterns của vLLM giúp phân biệt các tổ chức đạt được cost-effective inference với những tổ chức đang đắm chìm trong GPU bills.

PagedAttention biến đổi memory management

Inference LLM truyền thống phân bổ một memory block liền kề cho key-value (KV) cache của mỗi sequence, dành chỗ cho độ dài sequence tối đa có thể bất kể việc sử dụng thực tế. Một hệ thống cấu hình cho 4,096 tokens phân bổ toàn bộ memory đó ngay cả cho response 100-token, lãng phí 97% capacity đã reserved. Nhân với hàng trăm concurrent requests và GPU memory sẽ đầy những reservation trống trong khi các sequence thực tế phải xếp hàng chờ resources.

PagedAttention tái tưởng tượng kiến trúc này bằng cách chia GPU memory thành các pages có kích thước cố định, thường là 16 tokens mỗi page.⁵ Mỗi sequence duy trì một danh sách các page references thay vì một allocation liền kề, cho phép một số breakthrough capabilities:

Non-contiguous storage cho phép KV cache blocks phân tán across available GPU memory. Hệ thống không còn cần các contiguous regions lớn, loại bỏ fragmentation làm phiền các traditional allocators. Một sequence 2,000-token lưu trữ cache của nó across 125 pages phân bố wherever space exists.

Dynamic allocation chỉ cung cấp memory khi sequences tăng trưởng. Token đầu tiên allocate một page. Token thứ mười bảy kích hoạt second page allocation. Memory consumption theo dõi actual usage thay vì theoretical maximums, cải thiện đáng kể effective capacity.

Memory sharing cho phép các identical prompt prefixes chia sẻ KV cache pages across requests. Mười users hỏi các variations của cùng system prompt chia sẻ single cached copy của prefix đó, giảm memory consumption 90% cho common patterns. Production systems với standardized prompts thấy cải thiện utilization vượt quá 400%.⁶

Near-zero waste loại bỏ internal fragmentation phổ biến trong static allocation. Traditional systems lãng phí trung bình 4.1 tokens per sequence trong partially filled blocks. Page-level granularity của PagedAttention giảm waste xuống fractions của một page, thường dưới 8 tokens per sequence bất kể length.

Thuật toán lấy cảm hứng trực tiếp từ operating system virtual memory, áp dụng hàng thập kỷ nghiên cứu memory management vào GPU inference. Giống như modern operating systems map virtual addresses to physical memory pages, PagedAttention maps logical KV cache positions to physical GPU memory blocks. Translation overhead thêm microseconds vào mỗi attention computation nhưng tiết kiệm gigabytes memory capacity.

Continuous batching tối đa hóa GPU utilization

Static batching chờ đợi một số lượng cố định requests trước khi xử lý chúng cùng nhau, tạo ra latency spikes khi batches partially fill và throughput drops khi requests đến không đều. Batch size 32 có nghĩa request thứ 31 chờ một arrival nữa trước khi processing bắt đầu, có thể thêm seconds latency trong low-traffic periods.

Continuous batching trong vLLM loại bỏ hoàn toàn batch boundaries.⁷ Scheduler hoạt động ở iteration level thay vì request level, making decisions mỗi forward pass thay vì mỗi batch. Khi một sequence hoàn thành generation, slot của nó ngay lập tức accept new request mà không chờ sibling sequences hoàn thành. GPU xử lý bất cứ công việc nào tồn tại tại mỗi thời điểm, lấp đầy gaps mà static batching để trống.

Implementation yêu cầu phối hợp cẩn thận giữa memory management và scheduling:

Iteration-level scheduling đánh giá request queue tại mọi decoder step. Completed sequences release slots của chúng, waiting requests claim available capacity, và iteration tiếp theo tiến hành với optimally filled batch. Latency variance giữa các requests được absorbed thay vì amplified.

Preemption handling quản lý situations khi memory pressure buộc sequence eviction. Lower-priority requests checkpoint KV cache state của chúng và yield GPU memory cho higher-priority sequences. Khi capacity trả về, preempted sequences resume từ checkpoints thay vì restart từ đầu.

Prefix caching xác định requests chia sẻ common prefixes và route chúng đến instances đã holding relevant KV cache pages. Một customer support system mà mọi request bắt đầu với cùng 500-token context serves subsequent tokens từ cached state, loại bỏ redundant prefix computation.

Benchmarks chứng minh impact: vLLM đạt thông lượng 793 tokens per second so với 41 tokens per second của Ollama tại equivalent configurations, với P99 latency 80ms versus 673ms.⁸ Kiến trúc continuous batching duy trì những advantages này across concurrency levels từ 1 đến 256 simultaneous users.

Production architecture scales across clusters

Single-node vLLM deployments xử lý substantial traffic, nhưng production systems yêu cầu cluster-wide orchestration cho reliability, scale, và efficiency. vLLM production-stack biến đổi inference engine thành complete serving system với bốn critical additions.⁹

Request routing directing incoming queries đến appropriate backend instances dựa trên routing keys, session IDs, hoặc prefix matching. Intelligent routing tối đa hóa KV cache reuse bằng cách gửi related requests đến instances đã holding relevant context. Một conversation với multiple turns routes consistently đến cùng backend, tránh redundant prefix computation across instances.

KV cache sharing mở rộng memory efficiency của PagedAttention across multiple vLLM instances thông qua LMCache project. Backends chia sẻ computed KV cache blocks over high-speed interconnects, cho phép cache hits ngay cả khi requests route đến different instances. Systems với repetitive workloads thấy 3-10x latency reduction và 2-5x throughput improvement từ cross-instance cache sharing.¹⁰

Observability integration expose metrics thông qua Prometheus và visualization through Grafana dashboards. Per-request metrics capture time-to-first-token (TTFT), time-between-tokens (TBT), và end-to-end latency. Per-instance metrics track GPU utilization, memory pressure, queue depth, và cache hit rates. Operations teams có được visibility vào performance bottlenecks và capacity planning data.

Horizontal scaling thêm và remove vLLM instances dựa trên demand signals. Kubernetes deployments sử dụng Horizontal Pod