• 白包

    今天Tibo宣内codex登录用户永久缓存,API缓存12小时

    永久缓存怎么想都不太可能

    所以以下是我的脑洞猜测实际情况:

    实际缓存只储存12小时,超过12小时的缓存会生成一段类似hash的校验值放到HHD并记录在用户的帐号数据中,原本真正的缓存会删除。

    下次用户进行请求时先进行校验,先把codex的上下文生成一个校验值与储存在帐号数据的校验值匹配,校验成功的上下文以缓存的价格/额度进行扣费。

    这也是为什么只有登录用户能用,因为从整个数据库匹配要花太多时间和成本,不太可能,但限制到帐号的数据范围就很简单。

    因为把超过12小时以上的对话重新拉出来的需求不会太多,成本上也能够负担。

    因此所谓永久缓存其实是Tibo把对用户让利写成技术突破的炒作

    (纯脑洞猜测)

    主楼
  • caspian

    确实,但也算是个不错的更新,今天就不骂tibo了

    #1
  • dunNaNa

    说是永久,但没说费用如何,说不定是越久越贵呢

    #2
  • theseus

    能便宜就好啦。这个才是最要紧的 ^-^

    #3
  • Edge

    如果费用是按照缓存命中计算,那它内部怎么实现的我都不在乎

    #4
  • 诡道疯人

    甚至不会便宜太多 毕竟你o出缓存读写大头是压缩来着 也就每天第一次能省一点吧 ^-^

    #5
  • gadfly3173

    这也是为什么只有登录用户能用,因为从整个数据库匹配要花太多时间和成本,不太可能,但限制到帐号的数据范围就很简单。

    从API key也完全可以定位到账号吧,我觉得这不是问题。

    #6
  • 砂銀

    codex的模型下线期短?说是永久,两个月后模型下线就可以名正言顺的删了

    #7

发表回复

登录后回复