训练与推理基础设施：针对不同AI工作负载模式的优化策略

更新于2025年12月8日

2025年12月更新： H200（141GB HBM3e）正在成为训练主力，Blackwell GB200开始投入生产部署。推理正在向L40S、L4和AMD MI300X转移以提高成本效益——MI300X在推理方面的性价比已与H100持平。Intel Gaudi 3在IBM Cloud上的应用日益增多。推测性解码和连续批处理（vLLM、TensorRT-LLM）正在改变推理经济学。训练与推理的差距正在扩大：训练需要800G+互连，而推理可在普通以太网上运行。

训练基础设施需要数月时间消耗数百万美元来创建一个模型，而推理基础设施则以微秒级延迟为该模型提供数十亿次服务。单次GPT-4训练运行成本为1亿美元，需要25,000个A100 GPU连续运行90天。服务该模型则需要128,000个GPU分布在全球各地，优化目标是延迟而非吞吐量。这些根本不同的工作负载模式需要截然不同的基础设施方法，而组织常常将它们混为一谈，导致成本增加40%，利用率降低60%。

基本工作负载特性

训练工作负载表现出具有规律同步模式的大规模并行性。前向传播同时处理数千个样本的批次，计算梯度并在每次迭代中跨所有参与的GPU同步。这种全归约操作对于大型语言模型需要超过1.6Tb/s的聚合带宽。训练作业连续运行数周或数月，每小时进行检查点保存。硬件故障需要立即检测和恢复，以防止计算浪费。

推理工作负载处理具有毫秒级延迟要求的单个请求。批处理大小通常在1到32之间，受延迟约束而非内存容量限制。请求模式遵循昼夜周期，峰值和低谷之间有10倍的变化。地理分布确保全球用户获得低于100毫秒的延迟。硬件故障会立即影响服务可用性，需要冗余和快速故障转移能力。

内存访问模式在不同工作负载之间差异显著。训练执行规律的、可预测的内存访问，优化带宽利用率。大批量大小将内存传输开销分摊到许多样本上。模型权重保持静态，而激活值和梯度流经内存层次结构。推理表现出依赖于输入序列的不规则访问模式。动态批处理和变化的序列长度造成不可预测的内存需求。Transformer模型的键值缓存每个请求消耗数GB内存。

计算利用率指标揭示了根本差异。通过仔细的批量大小调优和数据管道优化，训练可达到85-95%的GPU利用率。对于大型模型，内存带宽成为瓶颈，计算单元等待数据移动。由于延迟约束和请求变化性，推理很少超过40%的利用率。小批量大小未能充分利用并行处理能力。网络传输和预处理开销进一步降低了有效利用率。

通信模式将分布式训练与推理服务区分开来。训练需要全对全通信进行梯度同步，在节点之间产生持续100Gb/s的流量。网络拓扑对训练性能有关键影响，任何瓶颈都会降低整体吞吐量。除了模型并行服务外，推理通信主要保持在客户端到服务器之间，节点间流量很少。负载均衡器独立地将请求分配到各推理节点。

硬件优化策略

GPU选择在训练和推理部署之间差异显著。训练集群优先选择配备80GB HBM3内存的NVIDIA H100 GPU，以支持完整的模型容量。3.35TB/s的内存带宽能够实现快速的梯度计算和参数更新。提供900GB/s带宽的NVLink互连加速了集合操作。组织为训练基础设施每个H100投资30,000美元，接受这一溢价以获得最高性能。

推理部署越来越多地采用针对成本效益优化的NVIDIA L40S或L4 GPU。配备48GB内存的L40S以每GPU 15,000美元的价格处理大多数推理工作负载。每个5,000美元的L4 GPU非常适合边缘部署和较小的模型。AMD MI210 GPU以NVIDIA价格的60%提供有竞争力的推理性能。Intel Gaudi2加速器以每单元10,000美元的价格为Transformer模型实现类似的推理吞吐量。这种多样性使推理成本比训练硬件降低50%。

内存层次结构优化在不同工作负载之间有所不同。训练需要最大HBM容量来同时容纳模型参数、优化器状态和梯度。一个700亿参数的模型需要840GB用于混合精度训练，包括Adam优化器状态。推理只需要模型权重和激活内存，同一模型只需140GB。这6倍的减少使得可以在更小、更便宜的GPU上部署。

CPU需求因预处理需求而异。训练集群为每个GPU分配32个CPU核心用于数据加载、增强和预处理。高性能NVMe存储以每节点10GB/s的速度供给训练管道。推理服务器需要较少的CPU资源，通常每GPU 8-16个核心，专注于请求路由和响应格式化。边缘推理部署可能对70亿参数以下的模型使用纯CPU服务。

加速器替代方案为特定工作负载提供具有成本效益的选择。Google TPU v4 pod在大规模训练方面表现出色，4,096个芯片提供1.1 exaflops算力。AWS Inferentia2芯片以每百万token 0.75美元优化推理，比基于GPU的服务便宜70%。Cerebras CS-2系统加速适合40GB内存的模型训练。当工作负载模式与其设计参数匹配时，这些专用加速器可降低成本。

网络架构需求

训练网络需要最大带宽和最小延迟来进行集合操作。使用NDR 400Gb/s交换机的InfiniBand部署为RDMA操作提供低于1微秒的延迟。胖树拓扑确保任意GPU对之间的无阻塞通信。轨道优化设计为梯度聚合和参数服务器通信分配独立的网络路径。Meta的Research SuperCluster使用4轨道InfiniBand，为每个GPU提供1.6Tb/s的聚合带宽。

推理网络优先考虑地理分布和边缘连接。内容分发网络（CDN）集成降低了全球用户的延迟。任播路由将请求定向到最近的可用推理集群。100Gb/s以太网足以满足大多数推理部署，需要时使用RoCEv2启用RDMA。负载均衡器根据当前利用率和响应时间将请求分配到可用GPU。

东西向流量模式差异显著。训练每天为大型模型训练产生100TB的梯度交换。全归约操作产生热点，需要仔细的网络设计。推理流量主要保持在客户端和服务器之间的南北向。模型服务根据请求速率和输出大小每GPU产生1-10GB/s的响应流量。

网络弹性要求反映工作负载特性。训练网络通过检查点恢复机制容忍短暂中断。长时间中断浪费昂贵的计算资源，这促使采用冗余网络路径。推理网络需要立即故障转移以维持服务可用性。低于1秒的BGP收敛时间确保故障期间对用户影响最小。

安全考虑对网络设计的影响不同。训练网络在可信环境中运行，优先考虑性能而非加密。数据集访问控制和模型检查点保护是安全工作的重点。推理网络面临互联网暴露，需要TLS加密、DDoS保护和API认证。Web应用防火墙在恶意请求到达推理服务器之前进行过滤。

存储系统设计模式

训练存储系统针对持续的顺序吞吐量进行优化。Lustre或GPFS等并行文件系统为数据集流式传输提供100GB/s的聚合带宽。NVMe-oF（NVMe over Fabrics）将数据集分片直接传送到GPU内存。使用Alluxio或JuiceFS的分布式缓存层加速重复的epoch处理。OpenAI的训练基础设施在其集群中实现了1TB/s的聚合存储带宽。

检查点存储需要不同的优化。大型模型的训练运行每4小时写入50-100TB的检查点。MinIO或Ceph等对象存储系统在不中断训练吞吐量的情况下处理检查点写入。与200%的复制开销相比，纠删码以20%的存储开销提供容错能力。分层存储将较旧的检查点迁移到更便宜的介质，同时在NVMe上维护最近的检查点以便快速恢复。

推理存储专注于模型加载速度和缓存。模型在推理容器启动时从对象存储加载，700亿参数模型需要10-30秒。本地NVMe缓存将后续模型加载加速到2秒以内。Transformer模型的键值缓存跨请求持久化，每个推理节点需要100GB-1TB的高速存储。Redis或Apache Ignite为推理服务器间的共享上下文提供分布式缓存。

数据集版本控制和血缘追踪支持训练可重复性。Data Version Control（DVC）或Delta Lake跟踪数据集随时间的修改。元数据存储记录每次训练运行使用的确切数据集版本。Tecton或Feast等特征存储在训练和推理之间提供一致的特征。这些系统防止训练-服务偏差导致的模型性能下降。

存储分层策略因访问模式而异。训练数据集根据访问频率在NVMe → SSD → HDD → Glacier各层之间迁移。热数据集保留在提供每驱动器7GB/s的NVMe上。由于持续访问，推理存储无限期地将模型保留在NVMe上。日志和指标数据遵循传统的分层模式，独立于AI工作负载。

扩展策略和模式

训练的水平扩展需要仔细考虑通信开销。弱扩展保持每GPU恒定的批量大小，随集群大小增加全局批量大小。强扩展将固定的全局批量大小分配到更多GPU上，改善训练时间但降低效率。对于大多数模型，线性扩展在512个GPU以内可达到90%的效率。超过这一点，通信开销占主导地位，效率降至70%以下。

模型并行使训练超过单GPU内存容量的模型成为可能。流水线并行按层将模型分割到各GPU上，通过仔细的调度实现80%的效率。张量并行将单个层分割到各GPU上，需要高带宽互连。专家并行用于混合专家模型，可扩展到数千个GPU。这些技术在3D并行策略中结合使用，GPT-4在25,000个GPU上使用了所有三个维度。

推理扩展遵循请求驱动的模式。Kubernetes中的水平Pod自动扩缩根据CPU、内存或自定义指标做出响应。扩展决策考虑模型加载的10-30秒冷启动惩罚。使用历史模式的预测性自动扩缩为预期需求预先配置容量。Spot实例集成为容错推理工作负载降低60%的成本。

地理分布策略根本不同。训练集群集中在单一位置