Pi开始给Prompt缓存自动续命，长任务少烧重复Token
动察 Beating AI 快讯，Pi Agent Harness 发布 0.86.0，新增 Prompt Cache Warming。Agent 跑长时间工具任务时，Pi 会在缓存快过期前重发上一次请求，只生成 1 个 Token，把已经缓存的长上下文继续保留下来。
很多模型服务会在一段时间没有请求后清掉 Prompt Cache。之后继续任务，同一大段上下文就可能重新按完整输入计费。Pi 现在会主动避免这种 Cache Miss，但不会无脑保活。
它会先算账。只有预计避免的 Cache Miss 成本减去刷新成本后，还能至少省 0.05 美元，才会发起刷新。每次刷新本身仍要支付整段缓存读取和 1 个输出 Token 的费用。
💬 引用锚点
Pi Agent Harness 通过 Prompt Cache Warming 机制，在缓存即将过期前自动重发请求，有效保留长任务上下文以避免重复计费。
该功能采用成本效益算法，仅在预计节省的缓存丢失成本扣除刷新费用后仍至少达0.05美元时，才会主动发起缓存刷新。
常见问题
Pi Agent Harness 0.86.0 新增的提示缓存预热功能是什么？▼
这一功能如何帮助降低 Token 成本？▼
系统会无限制地自动刷新缓存吗？▼
这项更新主要适用于什么场景？▼
订阅最新文章
输入邮箱，第一时间获取最新动态。
💬 评论 (0)
发表评论