AI 怎么用提示词缓存降低重复开销
每次请求都带同一份长系统提示和示例,账单和延迟一起涨。讲缓存标记打在哪、前缀为什么要逐字一致、命中率长期为零怎么查。
每次请求都带同一份长系统提示、同一份产品手册、同一批示例,账单和延迟都会跟着涨。提示词缓存就是把这段稳定内容只算一次,后续请求直接复用。开关不难,难在前缀必须保持完全一致。
入口在哪
- 请求体标记:部分平台的接口支持在消息块上加缓存标记,标在准备复用的那一段上。
- 控制台用量页:能看到缓存命中的用量和未命中的用量,两个数分开列,这是判断有没有生效的唯一依据。
- SDK 参数:有的 SDK 把缓存开关和有效期做成参数,默认不开,需要显式打开。
- 平台侧预置:少数产品支持预先上传一份可复用内容,调用时按名字引用,不必每次塞进请求。
具体步骤
- 把请求拆成稳定段和变化段。系统提示、长文档、示例、格式要求属于稳定段,这一次的具体问题属于变化段。
- 稳定段放最前面,变化段放最后。缓存按前缀匹配,顺序一乱就再也命中不了。
- 给稳定段打缓存标记。太短的段落一般不支持缓存,几百字以下的直接放普通消息里更省事。
- 保证逐字一致。多一个空格、换一个全角逗号、插一行时间戳,整段前缀就失效。
- 变量统一放到末尾。别在系统提示里塞当前日期、用户名、会话编号,那是最常见的失效来源。
- 上线后盯命中率。命中低先查前缀有没有被动态内容污染,再查标记位置对不对。
几个坑
- 在长提示中间插时间戳。看起来无害,实际把前缀切成两段,前面那半段白算,缓存全废。
- 改了系统提示里的一个字,整段缓存失效并重新计费。改提示词时要预期到这一次成本会上去,别在高峰期改。
- 缓存有有效期,过期后自动重算。低频调用的场景收益有限,别为省这点钱把架构搞复杂。
- 不同模型、不同版本的缓存规则不一样。换模型后要重新验证命中,不要沿用旧结论。
- 缓存不是记忆。它省的是重复计算,不会让模型记住上一次的结论,两者别混为一谈。
怎么验证
- 用量页面看缓存命中用量是否随请求量同步增长。长期为零说明标记没生效,先去查请求体。
- 同一个请求连发两次,第二次的耗时应该明显短于第一次,这是最直观的判断。
- 故意在稳定段里改一个字,观察命中是否归零,以此确认缓存确实按前缀匹配。
常见问题
提示词缓存和上下文记忆有什么区别
缓存省的是重复计算的开销,模型仍然只看这次请求里给的内容;记忆是把之前的对话带进上下文。两者解决的问题不同。
为什么我的命中率一直是零
常见三种:标记位置不对、前缀里有动态内容、段落长度不够最低要求。按这个顺序排查,基本都能定位。
缓存的内容会被别人看到吗
缓存一般按账号隔离,正常不会跨账号共享。但把敏感信息放进系统提示仍然有风险,脱敏该在进模型之前做。
一句话总结:稳定内容放前面并逐字冻结,变量全部挪到末尾,命中率靠用量页盯。