• stream

    求问佬友们如何把一个人的经验和准则尽可能的融入大模型,让这个大模型在一定程度上辅助自己判断

    主楼
  • chinajojo

    其实我一直不是很理解,大模型本来就是专家,为什么还要给它搞个专家

    #1
  • Jea1ousy

    你的知识很专家到足够sft的程度吗

    #2
  • refalogy

    写在提示词里

    #3
  • 汪汪

    原始文本、材料提取成结构化的文本并分类:rules,output-style,notes,reference。这是在外部约束。当然也可以微调训练啥的。

    我也是半瓢水,说说想法供参考

    #4
  • stream

    不知道,导师让我调研一下去,我也不了解这些东西

    #5
  • kevinlasnh

    那说明你没搞懂 llm 怎么玩或者 llm 怎么运行的

    以我对你目前这个问题的判断

    你好好写一个提示词就够了

    #6
  • Rosmonti

    专家系统本来就是rule-based,你大模型只要限定限制地够死表现得就跟专家系统差不多。

    你要说knowledge based话,就往wiki或者rag做呗,虽然现在rag天天被吐槽但是基本上还是最不差的选择

    #7
  • xdj

    提示词,如果字数太多就分正文和目录,目录放提示词里然后允许ai按需要求看正文

    #8
  • xqc

    你导师大概率想做的是小模型吧,大模型你最多也就是RAG这种上下文检索工具,跟专家知识融合有点远,感觉不如看text to sql这种小任务然后在上面写一个小模型+专家知识干翻大模型的论文 ^-^,再补充一下就是找个开源模型比如qwen8B然后在子任务上调参这样冻结某些层重新训练,再一些就是知识表示方法研究知识图谱之类的发论文倒是挺好发的,这种领域纯编数字不公开数据集完全发现不了

    #9
  • riverxorange

    给AI弄个专家头像和system prompt就行了。真要有独特的能力,就弄skills。什么专家能比大模型强?装装样子差不多了。

    #10
  • Allan1

    SFT 或者 RL,业界目前 RL 的发展比较快

    #11
  • lz_mar12

    大同小异,基于 知识库文件夹(llm-wiki架构) + agent(ai大模型,建议带视觉)

    不过,真正的 融入大模型 ,应该是 微调,但是这一般人真弄不了,金钱成本和时间成本太高了,并且也不一定适合这种 知识低高频摄入场景 (原谅我想不出什么好词)

    orca 项目,基于 agent-cli 级别的 智能体编排,能直接管理各家终端 cli:Claude Code cli、Codex cli、Grok Build cli 、Cursor cli、Antigravity cli 等,相当于可以不走反代,模型又都接入各自官方的专武 cli。

    安装 orca 后,开启智能体编排功能,就会给所有 cli 安装 skills (也可以指定项目文件夹安装)

    先开一个 cli 会话 做主控会话,自动派发一个 高级模型 + cli 做任务分析与规划,执行完后也会自动返回内容给主控,然后自动再派发一个 低级模型 + cli 做执行,最后看个人,也能再派发一个 高级模型 + cli 做审查,然后继续 低级模型 + cli 做修复。

    最后将上面这一套流程提升成 skills,也方面以后自己复用

    不过也有其他类似的项目,玩法都差不多:herdr、Pi…

    也可参考: AI时代大家是怎么管理自己的知识库的? - #14,来自 Lz_Mar12

    #12
  • coveydzblrsjlay

    我不理解你说的"融入大模型"是什么概念.

    如果单纯的工作流和知识的话,应该skill+本地资料库应该就可以了吧?

    #13
  • lz_mar12

    ai大模型的知识分两层:

    - 内置的权重文件,相当于模型当时的训练资料

    - 再一个就是我们用到的会话级,是临时的,只在当前 会话上下文 中存在,如果触发会话压缩就会丢失大量细节内容

    所以前两年比较流行的就是模型微调,一个是开源模型,直接自己改权重文件。一个是闭源模型,不过基本只有国产的才支持,比如阿里百炼,还有火山方舟,但是是你上传资料,他们帮你训练,你拿不到权重文件,到时候会单独给你一个模型id,相当于是专门特调的模型

    #14
  • 我秦始皇?

    如果只是应用的话,知识库rag还有skill这种动态prompt注入就够用了,但是既然是你导师的任务,可能要更深入一些,可以看看lora挂载还有开源模型微调什么的

    #15

发表回复

登录后回复