- 空喵4天前5731
缇宝的day16如是说
Day 16/
You can now cache for 12h in the API and for logged in users across Codex & Work we keep cache forever and you don’t have any penalty for coming back to an old conversation or resuming after a few hours and are now guaranteed to hit the cache.
主楼 - HLiny4天前5953
对plus用astra是利好,5h用完之后下一次5h不用缓存重建了,估计用量会增加20%
- 贾承国4天前4337
缇宝这是喝野生狗奶了还是吃春秋肠了 ^-^
- Xeltra4天前17337
话说deepseek开源推理框架和tibo发通知哪个早啊,有没有一种可能^-^^-^^-^
- Doori_Kiss4天前8336
- 空喵4天前5731
所以开源是对的,可惜ds卡少了
- gimling4天前11356
估计只是免收网页端缓存写入吧, 只是产品上的概念, 技术上条件摆在那里。
- foxbbqqww4天前15172
从某种程度上这也是增加使用量了
- Lincoln_King4天前10288
这是这些天最有用的更新吗?
- Kami_Pasi4天前15063
woc 这下岂不是无敌了
- Nebula14天前8598
先砍一半用量,再给点甜头?再怎么样缓存也不值10倍吧
- RHH4天前17338
- EVELance4天前5579
缓存价格不正好是写入的1/10吗,而且第一次创建缓存还有额外费用。
- EVELance4天前5579
存到硬盘里去吧,毕竟相比 vRAM 和 RAM 来说,硬盘成本就低太多太多了。
我猜可能有过统计,用户去捞很早很早以前的会话继续聊的概率非常小,这种即便是重新计算一次不收钱,成本也不高,毕竟只需要重新计算最后一次compact之后和临近的对话。
这样的话保留最近一个月甚至一周的缓存到硬盘上就行了。回忆下,是不是去翻出一周前的会话继续聊的场景基本可以忽略不计了。
- blacksein4天前9329
- 三火4天前12321
如果官方渠道的能做到跨会话读取缓存就更强大了 ^-^
