• 空喵

    缇宝的day16如是说

    Day 16/

    You can now cache for 12h in the API and for logged in users across Codex & Work we keep cache forever and you don’t have any penalty for coming back to an old conversation or resuming after a few hours and are now guaranteed to hit the cache.

    图片

    主楼
  • HLiny

    对plus用astra是利好,5h用完之后下一次5h不用缓存重建了,估计用量会增加20%

    #1
  • 贾承国

    缇宝这是喝野生狗奶了还是吃春秋肠了 ^-^

    #2
  • Xeltra

    话说deepseek开源推理框架和tibo发通知哪个早啊,有没有一种可能^-^^-^^-^

    #3
  • Doori_Kiss

    永久缓存,天呐,这东西确实有点好

    是 Tibo在 28 天里面放出来的 T0 级消息了吧

    #4
  • 空喵

    所以开源是对的,可惜ds卡少了

    #5
  • gimling

    估计只是免收网页端缓存写入吧, 只是产品上的概念, 技术上条件摆在那里。

    #6
  • foxbbqqww

    从某种程度上这也是增加使用量了

    #7
  • Lincoln_King

    这是这些天最有用的更新吗?

    #8
  • Kami_Pasi

    woc 这下岂不是无敌了

    #9
  • Nebula1

    先砍一半用量,再给点甜头?再怎么样缓存也不值10倍吧

    #10
  • RHH

    图片

    #11
  • EVELance

    缓存价格不正好是写入的1/10吗,而且第一次创建缓存还有额外费用。

    #12
  • EVELance

    存到硬盘里去吧,毕竟相比 vRAM 和 RAM 来说,硬盘成本就低太多太多了。

    我猜可能有过统计,用户去捞很早很早以前的会话继续聊的概率非常小,这种即便是重新计算一次不收钱,成本也不高,毕竟只需要重新计算最后一次compact之后和临近的对话。

    这样的话保留最近一个月甚至一周的缓存到硬盘上就行了。回忆下,是不是去翻出一周前的会话继续聊的场景基本可以忽略不计了。

    #13
  • blacksein

    如果没有预先基建/扩容

    最简单的就是先改一下计费系统 凡是codex来的上下文计费所有的读取算缓存读取 ^-^

    让他看上去是永久的 但是其实不是 后续再改造了

    #14
  • 三火

    如果官方渠道的能做到跨会话读取缓存就更强大了 ^-^

    #15

发表回复

登录后回复