如何提升 Prompt 缓存命中率
中转站会按请求前缀做 Prompt Cache。真正拉高命中率,要靠客户端保持
长且稳定的前缀、同模型、追加式对话——每次只往消息列表末尾追加,不要重写开头。
- 长且稳定的前缀:System / 工具说明 / 长文档放在最前面,且每次请求保持不变。
- 同模型:同一会话全程用同一个
model,不要来回切换。
- 追加式对话:多轮时保留完整历史,只在末尾加新的 user / assistant 消息。
推荐:第 2 轮只追加,前缀一字不改
{
"model": "mimo-v2.6-flash",
"messages": [
{ "role": "system", "content": "你是代码助手。项目规范:……(长且固定)" },
{ "role": "user", "content": "解释这段 Python" },
{ "role": "assistant", "content": "这段代码用于……" },
{ "role": "user", "content": "再给一个优化版" }
]
}
不推荐:每轮重写 system / 换模型 / 只发摘要
// 第 1 轮
{ "model": "mimo-v2.6-flash", "messages": [
{ "role": "system", "content": "当前时间 2026-08-25 03:00 …" },
{ "role": "user", "content": "你好" }
]}
// 第 2 轮(前缀变了 + 模型换了 + 历史被摘要替换)
{ "model": "mimo-v2.6-pro", "messages": [
{ "role": "system", "content": "当前时间 2026-08-25 03:01 …" },
{ "role": "user", "content": "之前聊过 Python,继续" }
]}
动态信息(时间戳、随机 ID、每次变化的统计)请放在消息末尾,不要插在 system 或历史前面。
OpenAI 兼容客户端请开启多轮上下文保留;自建调用请自行维护 messages 数组。