每token成本分析：优化GPU基础设施以实现LLM推理

更新于2025年12月8日

2025年12月更新： 推理经济性持续改善。配备141GB HBM3e的H200现已广泛可用（购买价格3-4万美元，云服务2.15-6.00美元/小时），使得之前需要两个H100的70B模型现在可以单GPU服务。H100云价格已降至1.49-3.90美元/小时（相比之前的7-8美元/小时）。AWS在2025年6月降价44%。Blackwell GB200/GB300架构承诺为LLM带来30倍推理改进，尽管分配仍然受限。量化技术进步（FP4、INT4）在保持准确性的同时持续降低每token成本。

每一个由ChatGPT生成的词都让OpenAI花费0.00012美元，这个数字决定着AI公司是生存还是消失在不可持续商业模式的坟墓中。¹ 部署大语言模型的组织发现，随着数百万用户每天生成数十亿tokens，推理成本而非训练费用主导了其基础设施预算。每token 0.0001美元与0.001美元的差异转化为每月数百万的基础设施成本，使优化成为生存必需而非效率练习。

Anthropic每天为服务Claude而烧掉270万美元，基础设施成本消耗了85%的收入，尽管收取了高价。² Google的Gemini基础设施成本据报告每年超过50亿美元，迫使公司限制免费套餐使用并推动用户转向付费订阅。³ 规模化后经济状况更加残酷：以每token 0.001美元的成本每天服务10亿tokens，年成本为3.65亿美元，足以资助整个初创公司。

硬件军备竞赛在矛盾的方向上推动成本。NVIDIA的H100 GPU提供比A100好3倍的推理性能，但成本高2.5倍，创造了复杂的优化决策。⁴ 内存带宽成为关键瓶颈，模型每个参数每个token需要2字节的内存带宽，使内存速度比计算能力更重要。⁵ 选择错误的组织会将自己锁定在无论用户增长如何都保证失败的成本结构中。

Token经济学决定业务可行性

理解token生成成本需要将推理过程分解为组成部分。每个token生成涉及从内存加载模型权重、执行矩阵乘法、应用注意机制和生成概率分布。像Llama 2这样的700亿参数模型在全精度下每token需要140GB的内存带宽，直接转化为时间和功耗。⁶

批处理大小通过摊销固定开销显著影响每token成本。服务单个请求在内存传输上浪费了90%的GPU容量。将32个请求批处理在一起可将每token成本降低85%，而延迟仅增加20%。⁷ 成本效率与用户体验之间的权衡成为塑造基础设施设计的关键业务决策。

上下文长度指数级地增加成本。2,000个token的上下文需要维护随序列长度平方缩放的注意矩阵。GPT-4的128,000个token上下文窗口的处理成本比8,000个token上下文高64倍，解释了为什么OpenAI对扩展上下文收取高价。⁸ 具有百万token上下文的模型在没有架构创新的情况下变得经济不可行。

模型大小在成本结构中创造阶跃函数。70亿参数模型适合单GPU内存，实现简单部署。700亿参数模型需要跨多个GPU的模型并行，增加同步开销。1750亿参数模型需要具有高速互连的专用基础设施。每次模型大小跳跃都会使每token成本增加2-3倍，超出参数计数增加。⁹

精度要求提供最大的优化机会。全FP32精度提供最高准确性，但与INT8量化相比，内存带宽需求增加四倍。现代量化技术在成本降低75%的同时实现全精度准确性的99.5%。¹⁰ 开发更好量化方法的竞赛直接影响AI部署的经济性。

硬件架构塑造成本基础

GPU选择在任何优化开始之前就确定了基线成本结构。NVIDIA的H100 SXM提供3.35TB/s内存带宽，以每秒100个tokens的速度服务70B参数模型。¹¹ A100仅实现2TB/s，将相同模型的吞吐量限制在每秒60个tokens。67%的性能差异尽管H100购买价格更高，但转化为成比例的更低每token成本。

内存容量约束迫使昂贵的架构决策。在FP16精度下加载70B参数模型需要140GB内存，这还不包括KV缓存、激活和开销。80GB的H100强制跨两个GPU进行模型并行，成本翻倍并增加通信开销。即将推出的具有141GB内存的H200支持单GPU服务，将每token成本降低45%。¹²

AMD的MI300X作为成本效益替代方案出现，具有192GB HBM3内存和5.3TB/s带宽，价格为H100的60%。¹³ 额外的内存容量支持在没有并行性损失的情况下服务更大的模型。早期采用者报告与H100部署相比每token成本降低30%，尽管软件生态系统不成熟造成了操作挑战。硬件节省与软件复杂性之间的权衡需要仔细评估。

Intel的Gaudi 3加速器专门针对推理工作负载，具有针对transformer模型的架构优化。该芯片提供128GB HBM2e内存和3.7TB/s带宽，功耗仅600W，相比H100的700W。¹⁴ Intel声称推理工作负载的总拥有成本降低40%，尽管有限的可用性和软件支持限制了采用。

基于CPU的推理在特定场景下以具有竞争力的经济性令许多人感到惊讶。具有192个vCPU的AWS Graviton4实例可以以每千tokens 0.0008美元的价格服务较小模型，对于低吞吐量应用来说与GPU定价具有竞争力。¹⁵ 该方法适用于GPU利用率较低的间歇性流量应用。混合CPU-GPU架构通过根据模型大小和紧迫性路由请求来优化成本。

软件优化带来显著改进

量化技术比任何硬件升级都更能降低成本。GPTQ量化将模型压缩到4位精度，准确性损失最小，内存带宽需求减少87.5%。¹⁶ AWQ（激活感知权重量化）在积极量化其他权重的同时以更高精度保留重要权重，实现3位平均精度，准确性下降不到1%。¹⁷ 实施量化的组织报告成本减少4-6倍，质量权衡可接受。

KV缓存优化防止多轮对话中的内存爆炸。PagedAttention像操作系统页面一样虚拟化缓存内存，减少内存浪费55%。¹⁸ 多查询注意在注意头之间共享键和值投影，将缓存需求减少8倍。¹⁹ 这些优化使相同硬件上的并发用户服务增加10倍，显著改善每token经济性。

投机解码在不增加额外硬件的情况下将推理加速2-3倍。小型草稿模型生成大型模型并行验证的token候选，摊销计算成本。²⁰ Medusa架构添加多个解码头以同时预测多个tokens，贪婪解码实现2.8倍加速。²¹ 这些技术在代码生成等模式可预测的结构化输出中效果特别好。

动态批处理通过组合不同长度的请求最大化硬件利用率。连续批处理在tokens完成时将新请求添加到现有批次中，与静态批处理的40%相比，保持90%+的GPU利用率。²² 该技术需要复杂的调度，但在生产部署中将每token成本降低50%。

模型路由智能地将请求定向到适当的资源。简单查询路由到较小模型或量化版本，而复杂请求接受完整模型关注。专家混合架构仅激活相关参数，在保持质量的同时减少计算85%。²³ 智能路由策略与使用最大模型服务所有请求相比，可将平均每token成本降低60%。

部署架构影响总成本

集中式部署将资源集中在大规模集群中，通过共享基础设施实现规模经济。1,000GPU集群通过统计复用服务多个模型，实现85%的利用率。²⁴ 冷却、电力和网络成本在更多计算中摊销，与分布式部署相比，每token成本降低25%。然而，网络延迟和数据出口费用抵消了地理分布用户的节省。

边缘部署使推理更接近用户但分散资源。在用户附近部署100个较小集群减少网络成本和延迟，但将利用率降低至40-50%。²⁵ 每个位置都需要冗余基础设施、监控和维护。边缘部署通常每token成本高2-3倍，但提供卓越的用户体验和数据主权优势。

混合架构通过战略性部署不同模型层来平衡成本和性能。小模型在边缘位置运行以实现低延迟响应，而复杂请求路由到具有大模型的集中式集群。Introl帮助组织跨我们257个全球位置设计混合部署，优化成本与用户体验之间的权衡。

像AWS Bedrock和Google Vertex AI这样的无服务器推理平台抽象基础设施复杂性但收取高价。AWS Bedrock为Llama 2 70B每千tokens收费0.008美元，比自托管基础设施高10倍。²⁶ 高价换取零运营开销和即时扩展，对于不可预测的工作负载有意义。具有稳定流量的组织通过管理自己的基础设施节省70-80%。

多云策略利用提供商之间的定价变化和现货可用性。Azure的现货A100实例比按需定价低60%，可用性达95%。²⁷ Google Cloud的承诺使用折扣为三年承诺减少57%的成本。²⁸ 复杂的编排平台在维持服务水平的同时将请求路由到最便宜的可用基础设施。

实际部署揭示优化模式

Spotify的播客转录服务展示了生产中的积极优化。该公司每天跨5,000小时音频服务Whisper Large V3，生成5000万tokens。在A100 GPU上的初始部署每天花费18,000美元。实施INT8量化、连续批处理和Flash Attention将成本降至每天4,500美元，同时保持99.2%的准确性。²⁹

Shopify的商户助手展示了对话AI的经济性。该系统每天处理1000万次对话，平均20轮，每天生成20亿tokens。在具有复杂缓存和路由的H100基础设施上运行，该服务每月花费450,000美元。没有优化，相同的工作负载将花费210万美元，展示了系统优化的影响。³⁰

由于监管约束，金融机构优化方式不同。JPMorgan的研究助手为50,000名分析师服务，具有严格的延迟要求，客户群之间不共享数据。银行为每个客户群部署专用模型实例，为i牺牲批处理效率