Amazon Trainium và Inferentia: Hướng dẫn Hệ sinh thái Chip Silicon AWS

Cập nhật ngày 11 tháng 12, 2025

Cập nhật tháng 12/2025: Dự án Rainier được kích hoạt với 500.000 chip Trainium2 huấn luyện Claude của Anthropic—cụm AI phi NVIDIA lớn nhất thế giới. Trainium3 ra mắt tại re:Invent 2025 với 2,52 PFLOPS/chip trên tiến trình TSMC 3nm. Lộ trình Trainium4 tiết lộ hỗ trợ NVIDIA NVLink Fusion cho các cụm GPU/Trainium lai. Neuron SDK đạt độ hoàn thiện cấp doanh nghiệp cho các workload PyTorch và JAX.

Amazon Web Services vận hành cụm huấn luyện AI lớn nhất thế giới được xây dựng trên chip silicon tùy chỉnh. Dự án Rainier, được kích hoạt vào tháng 10/2025, triển khai gần 500.000 chip Trainium2 trên cơ sở rộng 485 hecta tại Indiana, dành riêng cho việc huấn luyện các mô hình Claude của Anthropic.¹ Cụm này cung cấp năng lực tính toán gấp năm lần so với những gì Anthropic sử dụng cho các phiên bản Claude trước đó, chứng minh rằng các chip AI tùy chỉnh của AWS đã trưởng thành từ những giải pháp thay thế thử nghiệm thành hạ tầng phục vụ phát triển AI tiên phong.

Yếu tố kinh tế thúc đẩy việc áp dụng chip silicon AWS rất rõ ràng: các instance Trainium2 có giá khoảng bằng một nửa so với các instance NVIDIA H100 tương đương trong khi mang lại hiệu suất cạnh tranh cho nhiều workload.² Đối với các tổ chức sẵn sàng đầu tư vào việc tích hợp Neuron SDK, chip tùy chỉnh AWS mang đến con đường giảm đáng kể chi phí huấn luyện và suy luận. Hiểu khi nào nên dùng Trainium, khi nào dùng Inferentia, và khi nào NVIDIA vẫn là lựa chọn tốt hơn sẽ giúp doanh nghiệp tối ưu hóa chi tiêu hạ tầng AI.

Tiến hóa kiến trúc Trainium

AWS phát triển Trainium thông qua Annapurna Labs, công ty thiết kế chip Israel được mua lại năm 2015 với giá 350 triệu đô la. Thương vụ mua lại này giờ đây cho thấy tầm nhìn xa khi chip silicon tùy chỉnh trở thành trọng tâm trong chiến lược cạnh tranh của AWS với NVIDIA và các đối thủ hyperscaler.

Trainium thế hệ đầu (2022): Giới thiệu 16 chip Trainium mỗi instance trn1.32xlarge với kết nối NeuronLink băng thông cao. Các chip nhắm đến huấn luyện mô hình transformer với hiệu suất cạnh tranh so với NVIDIA A100 ở mức giá thấp hơn. Việc áp dụng ban đầu còn hạn chế do Neuron SDK chưa hoàn thiện và hỗ trợ mô hình còn hẹp.

Trainium2 (2024): Mang lại cải thiện hiệu suất gấp 4 lần so với chip thế hệ đầu. Các instance Trn2 có tới 16 chip Trainium2 mỗi instance, với cấu hình UltraServer kết nối 64 chip qua NeuronLink.³ Bộ nhớ tăng lên 96 GB HBM mỗi chip với băng thông cao hơn đáng kể. Trainium2 là nền tảng cho bước đột phá của AWS với Dự án Rainier của Anthropic.

Trainium3 (tháng 12/2025): Chip AI 3nm đầu tiên của AWS cung cấp 2,52 petaflop tính toán FP8 mỗi chip với 144 GB bộ nhớ HBM3e và băng thông 4,9 TB/s.⁴ Một UltraServer Trn3 đơn lẻ chứa 144 chip mang lại tổng cộng 362 petaflop FP8. Kiến trúc bổ sung hỗ trợ MXFP8, MXFP4, và structured sparsity đồng thời cải thiện hiệu suất năng lượng 40% so với Trainium2.

Trainium4 (đã công bố): Đang trong quá trình phát triển với thông lượng FP4 gấp 6 lần, hiệu suất FP8 gấp 3 lần, và băng thông bộ nhớ gấp 4 lần so với Trainium3.⁵ Chip này sẽ hỗ trợ NVIDIA NVLink Fusion, cho phép triển khai lai kết hợp Trainium và GPU NVIDIA trong các cụm thống nhất.

Inferentia cho suy luận tối ưu chi phí

Chip AWS Inferentia nhắm đến các workload suy luận nơi chi phí trên mỗi dự đoán quan trọng hơn độ trễ tuyệt đối. Các chip này bổ sung cho trọng tâm huấn luyện của Trainium, tạo ra một hệ sinh thái chip silicon tùy chỉnh hoàn chỉnh cho quy trình ML.

Inferentia thế hệ đầu (2019): Các instance Inf1 mang lại thông lượng cao hơn 2,3 lần và chi phí trên mỗi suy luận thấp hơn 70% so với các instance GPU tương đương.⁶ Các chip này thiết lập chiến lược chip silicon tùy chỉnh của AWS trước khi Trainium tập trung huấn luyện ra đời.

Inferentia2 (2023): Mỗi chip cung cấp hiệu suất 190 TFLOPS FP16 với 32 GB HBM, đại diện cho thông lượng cao hơn 4 lần và độ trễ thấp hơn 10 lần so với thế hệ đầu.⁷ Các instance Inf2 mở rộng tới 12 chip mỗi instance với kết nối NeuronLink cho suy luận phân tán trên các mô hình lớn.

Các instance Inf2 mang lại hiệu suất giá tốt hơn 40% so với các instance EC2 tương đương cho workload suy luận. Các tổ chức như Metagenomi đạt được giảm chi phí 56% khi triển khai mô hình ngôn ngữ protein trên Inferentia.⁸ Trợ lý AI Rufus của chính Amazon chạy trên Inferentia, đạt thời gian phản hồi nhanh hơn 2 lần và giảm 50% chi phí suy luận.

Không có Inferentia3 nào được công bố. AWS dường như tập trung vào các cải tiến Trainium mang lại lợi ích cho cả huấn luyện và suy luận thay vì duy trì các dòng chip riêng biệt. Các tối ưu hóa suy luận của Trainium3 gợi ý sự hội tụ giữa các dòng sản phẩm.

Neuron SDK: kết nối framework với chip silicon

AWS Neuron SDK cung cấp lớp phần mềm cho phép các framework ML tiêu chuẩn chạy trên Trainium và Inferentia. Độ hoàn thiện của SDK trước đây hạn chế việc áp dụng, nhưng các bản phát hành 2025 đã cải thiện đáng kể trải nghiệm nhà phát triển.

TorchNeuron (2025): Backend PyTorch gốc tích hợp Trainium như một thiết bị hạng nhất bên cạnh GPU CUDA.⁹ TorchNeuron cung cấp chế độ thực thi eager để debug, API phân tán gốc (FSDP, DTensor), và hỗ trợ torch.compile. Các mô hình sử dụng HuggingFace Transformers hoặc TorchTitan yêu cầu thay đổi code tối thiểu.

import torch
import torch_neuron

# Trainium xuất hiện như thiết bị PyTorch tiêu chuẩn
device = torch.device("neuron")
model = model.to(device)

# Vòng lặp huấn luyện PyTorch tiêu chuẩn hoạt động không thay đổi
for batch in dataloader:
    inputs = batch.to(device)
    outputs = model(inputs)
    loss = criterion(outputs, targets)
    loss.backward()
    optimizer.step()

Neuron SDK 2.26.0 (tháng 11/2025): Bổ sung hỗ trợ PyTorch 2.8 và JAX 0.6.2 với khả năng tương thích Python 3.11.¹⁰ Hỗ trợ mô hình mở rộng bao gồm các biến thể Llama 4 và sinh hình ảnh FLUX.1-dev trong phiên bản beta. Expert parallelism giờ đây cho phép huấn luyện mô hình MoE với phân phối expert trên các NeuronCore.

Neuron Kernel Interface (NKI): Cung cấp khả năng kiểm soát phần cứng cấp thấp cho các nhà phát triển cần hiệu suất tối đa.¹¹ NKI nâng cao cho phép lập trình cấp lệnh, kiểm soát phân bổ bộ nhớ, và lập lịch thực thi với quyền truy cập ISA trực tiếp. AWS đã mã nguồn mở NKI Compiler theo giấy phép Apache 2.0.

So sánh chi phí: Trainium vs NVIDIA

AWS định vị Trainium mang lại hiệu suất cấp NVIDIA với giá thấp hơn đáng kể:

AWS tuyên bố Trainium2 mang lại hiệu suất giá tốt hơn 30-40% so với các instance P5 dựa trên GPU.¹² Benchmark nội bộ của AWS cho thấy Trainium duy trì chi phí trên mỗi token thấp hơn 54% so với các cụm A100 ở thông lượng tương tự cho các mô hình lớp GPT.

Lợi thế kinh tế càng tăng khi mở rộng quy mô. Amazon giới thiệu với khách hàng rằng Trainium có thể mang lại hiệu suất tương đương H100 với chi phí chỉ bằng 25% cho các workload cụ thể.¹³ Mặc dù các tuyên bố marketing cần được xác nhận với từng trường hợp sử dụng cụ thể, mức tiết kiệm theo hướng này là đáng kể cho các workload tương thích.

AWS đã giảm giá H100 khoảng 44% vào tháng 6/2025, đưa các instance H100 theo yêu cầu xuống còn $3-4 mỗi giờ GPU.¹⁴ Cuộc chiến giá này mang lại lợi ích cho khách hàng sử dụng cả hai công nghệ, mặc dù Trainium vẫn dẫn đầu về chi phí cho các workload được hỗ trợ.

Dự án Rainier: Trainium ở quy mô tiên phong

Dự án Rainier của Anthropic chứng minh khả năng của Trainium cho các workload AI đòi hỏi khắt khe nhất. Cụm này đại diện cho triển khai hạ tầng AI lớn nhất của AWS và là một trong những hệ thống huấn luyện mạnh mẽ nhất thế giới.

Quy mô: Gần 500.000 chip Trainium2 được triển khai trên 30 trung tâm dữ liệu tại một cơ sở rộng 485 hecta ở Indiana.¹⁵ Hạ tầng cung cấp năng lực tính toán gấp 5 lần so với những gì Anthropic sử dụng cho các phiên bản Claude trước đó. Anthropic dự kiến sẽ chạy trên hơn 1 triệu chip Trainium2 vào cuối năm 2025 cho cả huấn luyện và suy luận kết hợp.

Kiến trúc: Các UltraServer Trainium2 kết nối 64 chip mỗi cái qua NeuronLink để có giao tiếp băng thông cao. Cụm trải dài nhiều tòa nhà đòi hỏi hạ tầng kết nối chuyên biệt trên toàn khuôn viên.

Quản lý workload: Anthropic sử dụng phần lớn chip cho suy luận trong giờ cao điểm ban ngày, chuyển sang các phiên huấn luyện trong khoảng thời gian buổi tối khi nhu cầu suy luận giảm.¹⁶ Lịch trình linh hoạt tối đa hóa việc sử dụng cho cả hai loại workload.

Bối cảnh đầu tư: Amazon đã đầu tư 8 tỷ đô la vào Anthropic kể từ đầu năm 2024.¹⁷ Quan hệ đối tác bao gồm hợp tác kỹ thuật với Anthropic đóng góp ý kiến về phát triển Trainium3 để cải thiện tốc độ huấn luyện, giảm độ trễ, và nâng cao hiệu suất năng lượng.

Dự án Rainier xác nhận rằng Trainium có thể huấn luyện các mô hình tiên phong mà trước đây cần các cụm NVIDIA. Thành công này định vị AWS để cạnh tranh cho các quan hệ đối tác phòng thí nghiệm AI khác và các workload huấn luyện doanh nghiệp.

Khi nào nên chọn Trainium

Trainium mang lại giá trị mạnh nhất trong các điều kiện cụ thể:

Workload lý tưởng: - Huấn luyện mô hình transformer (LLM, vision transformer) - Huấn luyện phân tán quy mô lớn yêu cầu hơn 100 chip - Codebase PyTorch hoặc JAX với kiến trúc tiêu chuẩn - Huấn luyện nhạy cảm chi phí nơi tiết kiệm 30-50% biện minh cho nỗ lực di chuyển - Các tổ chức đã cam kết với hệ sinh thái AWS

Cân nhắc khi di chuyển: - Hỗ trợ Neuron SDK cho các mô hình và operation cụ thể - Thời gian kỹ thuật cho việc điều chỉnh và xác nhận code - Phụ thuộc vào AWS (Trainium không khả dụng trên các cloud khác) - Xác minh hiệu suất cho các biến thể kiến trúc cụ thể

Không khuyến nghị cho: - Kiến trúc mới đòi hỏi các operation đặc thù CUDA - Workload yêu cầu hiệu suất tuyệt đối tối đa bất kể chi phí - Các tổ chức cần khả năng di động đa cloud - Huấn luyện quy mô nhỏ nơi chi phí di chuyển vượt quá tiết kiệm

Khi nào nên chọn Inferentia

Inferentia nhắm đến tối ưu hóa chi phí suy luận cho các triển khai production:

Workload lý tưởng: - Suy luận khối lượng lớn với chi phí là ràng buộc chính - Xử lý batch chấp nhận độ trễ - Kiến trúc mô hình tiêu chuẩn (BERT, các biến thể GPT, mô hình thị giác) - Các tổ chức chạy workload nặng suy luận trên AWS

Ngưỡng lợi ích chi phí: Di chuyển sang Inferentia có ý nghĩa khi chi phí suy luận vượt quá $10.000/tháng và workload phù hợp với kiến trúc mô hình được hỗ trợ. Dưới ngưỡng đó, nỗ lực kỹ thuật thường vượt quá tiết kiệm. Trên $100.000/tháng, việc giảm chi phí 40-50% mang lại lợi nhuận đáng kể.

Trainium3 và bối cảnh cạnh tranh

Sự ra mắt của Trainium3 vào tháng 12/2025 tăng cường cạnh tranh với NVIDIA Blackwell:

Trainium3 vs Blackwell Ultra: - Trainium3: 2,52 petaflop FP8 mỗi chip, 144 GB HBM3e - Blackwell Ultra: ~5 petaflop FP8 mỗi chip, 288 GB HBM3e - Trn3 UltraServer (144 chip): tổng cộng 362 petaflop - GB300 NVL72: tổng cộng ~540 petaflop

NVIDIA duy trì dẫn đầu hiệu suất trên mỗi chip, nhưng AWS cạnh tranh về kinh tế hệ thống. Một Trn3 UltraServer có thể có giá thấp hơn 40-60% so với hạ tầng Blackwell tương đương trong khi mang lại năng lực tính toán tổng hợp tương đương.¹⁸

Việc Trainium4 dự kiến hỗ trợ NVLink Fusion báo hiệu sự thừa nhận của AWS rằng việc thay thế hoàn toàn không khả thi cho tất cả workload. Các triển khai lai kết hợp Trainium cho các thành phần tối ưu chi phí với GPU NVIDIA cho các operation phụ thuộc CUDA có thể trở thành kiến trúc tiêu chuẩn.

Chiến lược áp dụng cho doanh nghiệp

Các tổ chức đánh giá chip silicon AWS nên tuân theo lộ trình áp dụng có cấu trúc:

Giai đoạn 1: Đánh giá - Kiểm kê các workload huấn luyện và suy luận hiện tại - Xác định hỗ trợ Neuron SDK cho kiến trúc mô hình - Tính toán tiết kiệm tiềm năng dựa trên chi tiêu GPU AWS hiện tại - Đánh giá năng lực kỹ thuật cho nỗ lực di chuyển

Giai đoạn 2: Thí điểm - Chọn workload đại diện với hỗ trợ Neuron SDK mạnh - Chạy huấn luyện song song trên Trainium và instance GPU - Xác nhận độ chính xác, thông lượng, và tổng chi phí - Ghi lại các yêu cầu và thách thức khi di chuyển

Giai đoạn 3: Di chuyển production - Di chuyển các workload đã xác nhận sang Trainium/Inferentia - Duy trì GPU dự phòng cho các operation không được hỗ trợ - Triển khai giám sát hiệu suất và chi phí

[Nội dung bị cắt bớt cho bản dịch]