推理单位经济学：每百万Token的真实成本

更新于2025年12月8日

2025年12月更新： 大语言模型推理成本以每年10倍的速度下降——比PC计算能力或互联网泡沫时期的带宽下降更快。GPT-4同等性能的成本从2022年底的每百万token 20美元降至现在的0.40美元。云端H100价格在从峰值下跌64-75%后稳定在2.85-3.50美元/小时。DeepSeek以比行业领先者低90%的定价颠覆了市场。自托管部署的收支平衡点：7B模型需要50%以上的GPU利用率，13B模型需要10%以上。量化技术可降低60-70%的运营成本。推测解码将延迟降低2-3倍。

大语言模型推理市场打破了传统的技术经济学规律。价格下降速度超过了微处理器革命时期的PC计算能力或互联网泡沫时期的带宽——同等性能的成本每年下降10倍。¹ 2022年底每百万token需要20美元的能力，现在只需0.40美元。² 然而，组织仍然难以理解其真实的推理成本，因为token级别的定价掩盖了基础设施的现实，GPU利用率决定了实际的单位经济效益，而优化技术带来了数量级的成本效率差异。掌握推理经济学决定了AI部署是创造价值还是消耗资本。

2025年12月的推理定价格局

API定价因模型能力、提供商和优化程度的不同而跨越三个数量级。了解当前格局为经济决策提供了背景。

经济型模型现在每百万token只需几分之一美分。Google的Gemini Flash-Lite以每百万输入token 0.075美元和每百万输出token 0.30美元领先。³ 通过Together.ai或Hyperbolic等提供商使用的开源模型价格更低——Llama 3.2 3B每百万token仅需0.06美元，MMLU得分42，成本仅为三年前的千分之一。⁴

中端生产模型在能力和成本之间取得平衡。Claude Sonnet 4每百万输入token定价3美元，每百万输出token 15美元。⁵ DeepSeek的R1模型以每百万输入token 0.55美元和输出token 2.19美元的价格颠覆了市场——在具备相当推理能力的情况下，比西方竞争对手低90%。⁶ 中国提供商持续以更低的价格挑战西方领先者，引入的价格压力使所有买家受益。

前沿能力模型定价较高。Claude Opus 4每百万输入token 15美元，每百万输出token 75美元。⁷ GPT-4和类似的前沿模型定价相近，其合理性在于这些能力是较小模型无论如何优化成本都无法复制的。

提供商差异增加了复杂性。对于相同的模型，最便宜和最贵的提供商之间价格相差10倍。⁸ 同一个模型可能在最便宜的提供商处每百万token 0.90美元，中位数为3.50美元，最贵的为9.50美元。在进行任何技术优化之前，跨提供商比价就能显著影响经济效益。

输出token定价不对称反映了实际成本。OpenAI、Anthropic和Google对输出token的定价比输入token高3-5倍，因为输出生成需要顺序处理，而输入处理可以高效并行。⁹ 生成长输出的应用与处理长输入但仅需简短回复的应用面临不同的经济学。

理解真实的GPU基础设施成本

API定价背后是具有自身成本结构的GPU基础设施。理解这些经济学能够做出明智的自建与购买决策。

硬件采购成本起点很高且持续累积。NVIDIA H100 GPU每张卡售价25,000-40,000美元，包含基础设施的完整8-GPU服务器系统达到200,000-400,000美元。¹⁰ NVIDIA每张H100的制造成本约为3,320美元——生产成本与销售价格之间的差距反映了需求驱动的利润率，这一利润率直到最近才开始缓和。

云端GPU租赁价格在大幅下降后趋于稳定。H100 SXM实例的价格从1.49美元/小时（Hyperbolic）到6.98美元/小时（Azure）不等，大多数提供商在从峰值下降64-75%后集中在2.85-3.50美元/小时。¹¹ 预留容量可进一步降低费率——Lambda Labs提供1.85美元/小时，Hyperstack承诺起价1.90美元/小时。

电力和冷却成本使硬件费用进一步增加。每张H100在负载下消耗高达700W。多GPU集群需要专用配电单元，设施升级可能花费10,000-50,000美元。¹² 液冷基础设施或增强型暖通空调系统根据规模增加15,000-100,000美元。这些成本分摊到GPU使用时间中，但显著影响总拥有成本的经济性。

运营开销弥合了硬件租赁与实际成本之间的差距。考虑冷却、设施和维护因素后，原始GPU租赁费率每小时增加约2-7美元，使8×H100的真实运营成本在正确分摊后达到8-15美元/小时。¹³ 比较云端租赁与API定价的组织必须包含这些隐性成本才能进行有效比较。

决定可行性的利用率方程

GPU利用率决定了自托管推理是否具有经济意义。为运行在10%负载的GPU付费会将每千token 0.013美元转变为0.13美元——比高端API还贵。¹⁴

收支平衡分析取决于模型大小和利用率目标。托管7B模型大约需要50%的利用率才能比GPT-3.5 Turbo更便宜。¹⁵ 13B模型仅需10%的利用率即可实现与GPT-4-turbo的成本持平，因为较大模型的能力溢价证明了更高的基础设施投资是合理的。关键洞察：较大模型在较低利用率下即可实现收支平衡，因为它们替代的是更昂贵的API替代方案。

流量模式决定了可实现的利用率。工作负载一致且可预测的组织比需求零散的组织能实现更高的利用率。具有日常流量周期的面向消费者的应用在非高峰时段会浪费GPU容量，除非工作负载可以转移或基础设施可以动态扩展。

请求量阈值确立了最小可行规模。分析表明，每天需要超过8,000次对话，自托管基础设施的成本才会低于托管解决方案。¹⁶ 低于此阈值，自托管的运营复杂性和固定成本将超过潜在节省。

批处理机会改善了利用率经济性。拥有可延迟工作负载的组织——离线分析、批量嵌入、数据集处理——可以将需求聚合到高利用率窗口中，即使实时流量变化也能提高有效利用率。在共享基础设施上混合实时和批处理工作负载可优化资本效率。

生产部署的成本结构分解

生产推理成本分解为可单独优化的组成部分。

模型加载和内存无论流量多少都消耗固定资源。FP16格式的70B参数模型大约需要140GB GPU内存——超过单GPU容量，因此无论流量多少都必须采用多GPU配置。¹⁷ 内存成本随模型大小而非使用量扩展，创造了与流量无关的最低基础设施门槛。

每token计算驱动推理过程中的边际成本。前向传播计算随模型架构扩展——特别是长上下文的注意力机制。计算成本随批处理而下降，因为矩阵运算在较大批量大小时变得更高效，将开销分摊到更多token上。

KV缓存内存随上下文长度和并发请求增长。每个活动请求维护的键值缓存消耗与上下文长度成正比的内存。长上下文应用面临内存压力，限制并发请求，降低吞吐量并增加每token成本。KV缓存管理是主要的优化目标。

网络和存储I/O影响多GPU和分布式部署。用于张量并行的GPU间通信、从存储加载模型权重以及传输结果都消耗资源。高带宽网络（NVLink、InfiniBand）减少I/O瓶颈，但增加基础设施投资。

运营开销包括监控、日志记录、安全和管理。生产系统需要可观测性基础设施、值班人员和持续的优化工作。组织在比较自托管与API替代方案时经常低估这些"软"成本。

改变经济性的优化技术

技术优化可以将推理成本降低60-70%甚至更多，将边际经济转变为可持续的优势。¹⁸

量化将模型权重的精度从32位浮点数减少到8位或4位表示。该技术将模型大小缩小4-8倍，同时保持可接受的准确性。¹⁹ 8位量化减少50%的内存使用，准确性损失约1%。4位量化实现75%的大小减少，同时在许多应用中保持有竞争力的性能。Blackwell GPU的FP4支持使仅通过量化即可实现4倍性能提升。

连续批处理动态分组请求，而不是等待固定批次完成。传统批处理等待最长序列完成后才处理新请求。连续批处理立即驱逐已完成的序列，并在其他序列仍在处理时开始新请求。²⁰ 该技术显著提高了序列长度变化的工作负载的GPU利用率——这正是大多数生产部署展现的模式。

推测解码使用小型"草稿"模型预测多个token，然后由较大的"验证"模型并行检查。²¹ 当预测正确时，每次前向传播生成多个token而非标准的单个token。该技术将延迟降低2-3倍，适用于小型模型能准确预测较大模型输出的应用——对于受限领域或结构化输出特别有效。

KV缓存优化包括PagedAttention像虚拟内存一样管理缓存内存，减少碎片化并实现更高的并发性。²² 缓存压缩技术进一步减少内存占用。前缀缓存在请求共享公共前缀时避免重新计算——对于具有结构化提示或系统指令的应用很有价值。

模型蒸馏创建针对特定领域近似较大模型行为的较小模型。针对目标任务匹配GPT-4性能的蒸馏7B模型以很小的基础设施成本运行，同时保持与应用相关的质量。²³ 蒸馏需要前期训练投资，但能产生持续的推理节省。

这些技术组合会产生复合效果。应用量化（4倍）、连续批处理（2倍）和推测解码（2倍）的组织可能比原始部署实现16倍的有效成本降低——将看似边际的经济性转变为实质性优势。

API与自托管决策框架

自建与购买的决策取决于简单成本比较之外的因素。

在以下情况选择API推理： - 流量零散或不可预测 - 每天的对话量低于8,000次 - 工程能力有限 - 快速迭代模型选择有价值 - 合规要求可通过提供商认证满足 - 延迟要求与提供商SLA匹配

在以下情况选择自托管： - 流量一致且数量大 - GPU利用率可持续超过50% - 数据主权阻止使用云端API - 定制模型需要专门的服务 - 延迟要求超过提供商能力 - 成本优化证明工程投资是合理的

混合方法通常证明是最优的。组织将基准

[内容截断以便翻译]