• 赵公明

    我认为恰恰相反。

    蒸馏一个人的数据对于skill来说只能是最方便的来源而不会是最好的来源。

    人的思考往往收到了生理的限制。而导致只能使用这些固有的经验来减少劳动量。但是AI本身是不追求劳动量的。现行通过蒸馏人类出来的skills目的都会因为人的生理局限性导致最后使用起来都是追求极致的性价比,但是有了skills我们本该追求的是更强的性能。甚至是通过skills让大模型本身具备更强的专业性。

    这里就要谈到一个可以在旧时代被称之为贬义的词汇,那就是杜撰。通过杜撰产生新的skills来增强大模型的功能。

    当然skills的内涵不止于此。例如:我们完全可以通过杜撰一个投机家的skills,让他通过skills自带的脚本检索法律和规则有哪些可以钻能够盈利的漏洞。这就需要脚本知识(py,js,sh之类的)

    又或者你可以通过杜撰一个健身教练的skills。通过杜撰和技术描写,你可以让这个健身教练同时具备营养师,身体数据分析师和健身教练的功能。因为很多工作需要的内容都有对应的依据可以查询。例如营养师有对应的中国居民营养膳食指南(这里仅作为举例,还有很多对应的知识和书籍)

    而只要把这些东西塞进去再往里放一些自己认为这个岗位该有的东西就可以完成对这个岗位的撰写,甚至比大多数蒸馏出来的还要好用

    主楼
  • 飞天拜鱼人

    如果有现成方法论的书或者文档我偏向于蒸馏。

    #1
  • 赵公明

    适合于人的方法不一定适合于大模型。这才是我的主要论题

    #2

发表回复

登录后回复