• lg_zhang

    已知

    - astra1m上下文codex里不额外收费

    - codex里不收缓存写

    - 新功能features.context_management.experimental_mode = true

    开启后会替代上下文压缩,使用note和窗口编号管理记忆,上下文超过后切新窗口并按需读过去对话

    所以是不是应该1m+新上下文管理

    主楼
  • ishadows

    上下文开多大还是得看测评吧,之前的1M都是不太行的,上下文大了就流口水

    新上下文管理方法肯定要开,每次压缩都要花钱的,不压缩必定省钱啊

    #1
  • Neptune

    5.6还是推荐200-300,不然降智到没法看

    astra不太清楚

    #2
  • 牧清云

    图片

    图片里面下边“Context Length Bin”意思应该是上下文长度,左边“Average Score (%)”意思应该是平均得分,仅供参考

    #3
  • 不是多线程

    但是上下文长了,每次请求消耗的 token 变多,还是很贵的啊

    #4
  • Wool

    看 astra 的捞针测试强的离谱啊

    图片

    #5
  • cut

    所以能开512k且无损记忆吗^-^

    #6
  • lg_zhang

    已经开了个672k上下文和最新的上下文管理

    #7
  • cut

    为什么是672呢老哥?这是好解吗

    #8
  • AAAAAAAAAAAA

    我开了1m。但是500k自动压缩,我感觉效果还是很棒的。基本上执行一个计划过程中不需要压缩,速度智商都在线

    #9
  • CrisR

    可以开 500K 这样一个中间的档位

    #10
  • CodesMonkey
    model_context_window = 500000
    model_auto_compact_token_limit = 450000
    #11
  • 美帝码工

    不要乱开features.context_management.experimental_mode,还没进入实验性阶段,还是开发中,效果不会好的,而且根本不省 Token。

    #12
  • Carlos

    所以应该给多少上下文呢,这个新模式好用吗

    #13

发表回复

登录后回复