• Iza

    题目是两个问题

    第一个问题,为什么这么快是想问 ai 的 tps 瓶颈是啥,为啥 ds 能这么快呢

    第二个问题其实我不完全确定,但我自己对比体验下来的体感是完成任务的真实效率并没有加速

    为什么体感没有缩短任务时长可能是因为雷霆大思考?但更深一步说为什么 ds 经常陷入大思考呢^-^

    主楼
  • Z-linuxdo

    国内的卡推理速度应该做不到现在最新的卡这么快 flash是架构上的设计才快的吧

    实际上在整个过程里做了很多的测试和验证,如果少点测试验证就会感觉时间降下来了

    #1
  • lovesusu

    按我的猜想就是,因为flash模型本身参数量相对大参数模型小

    所以只能先不停地获取现状来一点点推理出合适的写法吧

    但是对于大参数模型,一些常见的写法都完整地在记忆里可以直接取出来,所以需要确定现状的推理部分就少一些了吧

    我觉得是各有优缺,对于新项目来说,少按现状推理就挺好,少很多浪费的时间

    但是在现有的项目上继续迭代,那就得了解好现状才好继续写,不然容易左右脑互搏,虽然说确定现状也不一定能做到不互搏,但是相比纯自信直接开写应该会好不少

    #2
  • Eeevan

    直觉不够思考来凑,参数小只能这样,就像 AO 的 Sonnet 和 Luna,也是雷霆大思考

    #3
  • J_TOFJSJ

    今早刚好有一个运维问题,flash花5分58秒,gpt6 astra花3分32,而且flash回答一大堆,问题的关键藏在里面,需要你仔细阅读,而astra的回答就很干练,只有关键。

    #4
  • 天梦

    你的tps固然很强,但你的雷霆大思考弥补了你的强处^-^

    #5
  • 小橘不是喵

    图片

    如图所示 ^-^

    #6
  • refalogy

    dsh的pwsh和grep都容易慢,我现在搞了个git bash模式,但没实测过速度改变。我自己的项目测试也慢。另一方面是思考太多

    #7
  • fgfgfdg8

    (帖子已被作者删除)

    #8
  • Giga.Chad

    因为模型小每次只调用30b所以速度快,因为模型小知识不足所以雷霆大思考,因为缓存率高所以雷霆大思考也不贵

    #9

发表回复

登录后回复