• 邱埋葬

    图片

    图片

    新模型知道25年11月份及之前发生的事件,旧模型不知

    主楼
  • 欣欣|林可欣

    图片

    知道了,但是不完全知道

    后训练又蒸馏了一点说是()

    看了一下也有概率答对 所以还是要考虑一下幻觉率

    根据社区这个帖子
    dsv4f:世界未解之谜之后训练为什么改变了知识库 - 国产替代 - LINUX DO

    图片

    看来是的

    #1
  • 凌风神舞

    之前泄露的4小时对话, 梁圣曾提到, 希望模型能够自己学习, A\也表达过类似的观点, 由模型自己去开发下一代模型, 所以我推测, 是否模型能够自我学习的一个标志就是, 更新自己的知识库, 举一个不恰当的比喻, 可能类似于很多Agent的记忆系统?

    #2
  • Hifumi_Mizuhara

    图片

    知道但不完全知道^-^

    图片

    #3
  • 惊鱼

    图片

    看起来分词器没改, 不然就太离谱了

    #4
  • jcc

    传说中的持续学习

    一个基模,然后他自己能像人类一样,持续的去学新的东西

    这是ds选的实现agi的路线

    #5
  • Hifumi_Mizuhara

    图片

    Web应该灰度了,思维链形式^-^

    #6
  • 嬴麻

    我网页版上问,日本首相还是石破茂

    #7
  • 欣欣|林可欣

    但是哪怕是API 对于此问题仍然不了解

    图片

    两轮均未改变回答

    #8
  • H3ury

    图片

    #9
  • 惊鱼

    奇怪了, 难道我没用上最新模型, 那要是分词器都改了, 还能是后训练么, 牢梁梁圣你不诚实啊. 我用的 openai-responses 协议, 思考选的最高(但是没出思考过程?) 不知道是不是cherry思考强度映射没写好

    图片

    #10
  • Hooledy

    奇怪,我这里不开思考没法通过,但开思考可以,思考强度越大通过概率越高

    #11
  • H3ury

    搞不懂他这个,很多佬说知识库时间变了,但是我的没变,还是只有claude 3.5

    图片

    #12
  • coat

    为什么你会觉得后训练改变不了知识库…举个例子,微调一个领域模型,你觉得它对这个领域的知识有没有增加?

    #13
  • 邱埋葬

    后训练不能大幅改变知识库应该是公认的吧?

    我感觉正如v4f自己所言,知识库没有更新,只是如你所说,在训练的过程中一些大事件的知识流入了v4f,导致了模型偶然会知道一些知识库截止日期之后的事情。

    #14
  • 月落晨曦

    这样的话他的规模会不会变大呢?

    如果规模不变,那新的知识放哪呢,如果外挂向量数据库,那和现有的联网搜索有什么区别呢?

    如果规模会变大,那新发布的说规模没变。

    压缩也是有极限的吧。

    #15
  • BOOSTMEISTER_2014_DH

    你这个说法太扯了,我也不知道怎么实现的,但绝对不可能是自进化。官方都说了只是后训练。后训练是可以提升知识调用的。

    #16

发表回复

登录后回复