#Prompt Caching

共 3 篇内容,涉及 2 个模块

Prompt2案例1
Prompt编程开发

Cache-Friendly Prompting:把提示词重排一遍,输入成本直接砍半

2026 年 9 月 22 日,Anthropic 发布 Claude Opus 5.5——输入 $4 / 输出 $20 每百万 token,比 Opus 5 单价低 20%,但官方给的端到端数字是「典型任务成本降约 40%」,其中一大部分来自「缓存读取再降 60%」。90 分钟后 OpenAI 发布 GPT-6 Sol 与 Luna,Sol 的缓存输入 $0.20(标准输入 $2,差 10 倍),Luna 缓存 $0.01(标准 $0.10),并对 30 分钟内复用的合格共享前缀给到最高 90% 折扣。**缓存折扣是当前所有降本手段里投入产出比最高的一个**:不用换模型、不用改架构、不用等排期,把你写的提示词重排一遍就生效。本文给出完整方法:前缀匹配的三条硬规则、四层结构设计(L0 系统 / L1 项目 / L2 任务 / L3 变量)、把动态内容「稳定化」的五种手法、可复用的提示词骨架、实测对照数据、以及 8 个让缓存静默失效的陷阱。

2026-09-23
#Prompt技巧#提示缓存
Prompt通用

Prompt 缓存:让长上下文调用成本降 90%、延迟快 5 倍

Prompt 链式调用每步都把 system prompt 和资料塞进去,token 重复传输、重复计算,账单爆炸。Prompt Caching 让模型记住前缀,相同部分只算一次,后续调用直接复用。本文拆解缓存原理、4 种缓存策略、Claude/GPT 的实现差异与落地代码,帮你把长上下文成本砍到 1/10。

2026-08-15
#Prompt技巧#Prompt Caching
案例企业应用

把 Agent 的账单砍掉 88.9%:一次复杂任务 40 次模型调用背后的成本治理实战

2026 年 9 月,云栖大会前后有一条被低估的工程数据:一次复杂的 Agent 任务往往涉及十余次到数十次模型调用,而通过模型路由等 Harness 层能力,可以在保留 99.96% 任务质量的同时把成本降低 88.9%。这个数字之所以值得单独写一篇,是因为它戳中了 2026 年所有 Agent 项目的同一个死穴——Demo 阶段每任务几毛钱,上线后每任务几块钱,规模化之后账单涨 10 倍以上,而团队的第一反应「换个便宜模型」几乎总是失败。本文是一家中型 SaaS 公司真实走过的 10 周:从「账单涨了 14 倍」到「单任务成本降到原来的 11.1%,质量回归集通过率 99.96%」。全文包含可复现的五把刀(模型路由 / Prompt Caching / 上下文预算 / 批处理 / 早停去重)各自的 ROI 实测占比、三层指标体系与评测集构建方法、灰度切流与回归监控的完整节奏、每一步的 Prompt 模板,以及 14 个真实踩过的坑。附完整效果数据表与回滚红线定义。

2026-09-23
#AI实战#Agent