- liuluxu19894天前
这可能吗？这个缓存可是内存啊，贵的要命。怎么可能会给你几个月前的会话持续保持缓存？？？
X 原文：
第 16 天/
现在您可以在 API 中缓存 12 小时，对于登录用户，在 Codex 和 Work 中我们将缓存永久保留，您在返回旧对话或几小时后恢复时没有任何惩罚，并且现在保证会命中缓存。
Day 16/
You can now cache for 12h in the API and for logged in users across Codex & Work we keep cache forever and you don’t have any penalty for coming back to an old conversation or resuming after a few hours and are now guaranteed to hit the cache.
主楼 - keshawnvan4天前
放你本地了吧
- opengps4天前
缓存只能是内存？对于 ai 推理过程，结果作为缓存放硬盘也大幅提速
- MoGeJiEr4天前
绝大部分是存在磁盘里,怎么可能全放内存,这还用想吗.
- aimuz4天前
😳 这该不会是超过一定天数后只存一个 hash ，下次 hash 匹配上就把相关费用免掉吧？反正也不用真的把缓存留着，只要用起来感觉缓存还在就行。而且对大多数用户来说，回头接着用 12 小时前的内容本来也不算常见。
- ihainan4天前
写入磁盘了。
- kuhung4天前
好家伙 正面硬扛 compact 和 handoff
- S1ahs3r4天前
DeepSeek 2.5 时，在知乎宣传过自己的 HDD 缓存
- Haku4天前
大模型早就有缓存写入磁盘的技术了吧？我记得 DeepSeek R4 两个重大技术突破：一个是提出思维链，另一个技术就是使用磁盘作为一部分缓存，换取低廉的 token 成本。
- liuluxu19894天前
原对应 tibo 帖子：
https://x.com/thsottiaux/status/2112712984644784534
对应 OpenAI Developers 帖子：
https://x.com/OpenAIDevs/status/2112603916076781778
您可以选择“12h”，保留 30 分钟的默认设置，或者在一个请求中混合使用两者：12h 用于共享指令，30 分钟用于较新的对话内容。
如果您需要全天重复使用相同的上下文，重复重用的节省将大大超过 12 小时缓存的额外成本。
You can choose “12h”, keep the 30-minute default, or mix both in one request: 12h for shared instructions, 30 minutes for newer conversation content.
If you need to reuse the same context throughout the day, savings from repeated reuse can significantly outweigh the extra cost of 12-hour caching.
- vonfry4天前
@dnfQzjPBXtWmML 并非不大。4bit 量化，一个 token 对应的向量按 1536 算有 0.7kB ，256k 的上下文就有 180MB 啦。算上内存压缩比 1 ，也有近 100MB （虽然落盘压缩率应该会更高，但应该也不太能接受的）。这还是一个 session ，你一个用户有多少 session ，还有 subagent ，还有 compact 要不要持久化（对模型来说应该就是一个新的 context ）？同 context 换个模型等于就要再存一份。
考虑到用户量，就算落盘高压缩，感觉也不是能接受的成本，而且这些持久化感觉没什么意义，对后续训练应该也没复用的帮助。
api 的 kv cache ，基本就是 5min ，之前好像哪家还有 1h 档的，但计费不同。
api 现在说是 12h ，但写入计费是直接输入的 2.5x 。codex 这个所有的永久我猜是本地加密，然后要用的时候上传远端解密。 - keakon4天前
- aec4d4天前
- Rorysky4天前
ssd 也没那么不堪，offload 了解下
- PrinceofInj4天前
做个特殊标记，下次会话的时候，把应该命中，但是因为过期而未命中的费用免去，不就可以了吗？反正使用的时候，你又感觉不出来。
- qbqbqbqb4天前
纯粹就是翻译问题，应该叫“持久化缓存”，就是会存到硬盘上的缓存。
以前除了 DeepSeek 官方以外很少有供应商提供这种缓存，都是内存缓存，有效期以分钟计（一般只有 5~10 分钟），你稍微休息一会儿再发提示词，甚至工具调用时间长一点，缓存就会过期，过期之后下一轮就要全价计费。
有了“持久化缓存”之后，缓存有效期就可以有数小时，你中间休息 15 分钟什么的都不会导致多计费，很划算。
- qbqbqbqb4天前
“缓存永久保留”和“永久缓存”也不是一回事，这个是要你反复进行对话才能刷新缓存过期时间的，结合 12 个小时的长效缓存，需要你每天在同一个会话上工作才能达到缓存不过期的效果。或者使用某些 Agent 软件提供的“缓存保温”功能（相当于每隔一段时间就在当前会话上自动发 1 个字的消息）。
- lovelyxiaod4天前
- tianjiyao4天前
这个应该是落盘的缓存吧。。
- sentinelK4天前
- yh7gdiaYW4天前
要额外收费的，就是之前 A\和 qwen 那种主动缓存的小变种
- nayunfeng4天前
分布式存储
- lollipogo4天前
我的理解是，会话很长，不等于 cache 也很长。一个很久的会话，每次压缩都可以把之前的 cache 清掉，这样，一个会话最大的 cache 不会超过上下文窗口的大小（ codex 默认是 500k ）。再配合分层缓存，也并不是不可接受。最后，即使很久之前的数据系统清掉了，你使用的时候，给你算一下但是不计费，其实从用户层面也可以认为是永久缓存
libobo4天前我觉得应该是本地缓存的，要不然怎么和 api 区分开，要是服务端那成本也是很高的
