提示词缓存基础设施：降低LLM成本与延迟
Anthropic前缀缓存实现长提示词90%成本降低和85%延迟降低。OpenAI自动缓存默认启用（节省50%成本）。31%的LLM查询呈现语义相似性——缺乏缓存将造成巨大效率损失。缓存读取仅需$0.30/百万token，而新请求需$3.00/百万token（Anthropic）。多层缓存架构（语义→前缀→推理）最大化节省。
None