有没有大哥科普一下什么是蒸馏呢？

我认为的蒸馏就是拿更强的模型训练自己，如同请个家教一样。

但一般蒸馏都会批量买成百上千个号加速训练吧。

Thinking Machines Lab

On-Policy Distillation

On-policy, dense supervision is a useful tool for distillation

可以看一下这篇OPD的讲解

谁知道呢，我也不知道蒸馏一般都是怎么蒸的，但不是一般都是要拿整串聊天记录的 trace 吗？ 不知道站里有没有专门搞蒸馏的可以回答()

这是只能在 claude code 里用吗？ 还是其实在用某个很烂的 agent harness，比如自己开发的 harness 之类的

跑 benchmark 或许也有可能跑出这种结果？

太看得起我了

简单易懂哈哈

好话题。

好的，谢谢哦，看懂了

可以这么理解：

模型训练：把一个文盲放到图书馆不断的学习新知识然后变成一个什么都知道的老师

蒸馏：直接让老师直接教

理解到了哈哈

以前稍微了解过一点，感觉大概是1+2+3+4+…+9,然后有些模型可能是1+2=3 3+3=6 6+4=10 这么算 然后聪明模型就会1+9的和除于2乘9。然后你去偷师聪明模型的方法，你发现他的方法好简单，我让我的AI下次也这么做

你是小模型，老师是大模型

如果没有老师，你知道一个知识点可能要踩很多坑

但是有老师的话，老师把坑帮你都踩了，只能很快知道正确的方法。简而言之就是【有贵人，少踩坑】。

用模型的输出训模型就是蒸馏

被一些别有用心的外行人污名化的技术

蒸馏在llm领域非常常见，无论是在预训练阶段使用蒸馏，或者在后训练阶段（sft/指令微调）直接做蒸馏

都是行业标准操作

也不知道为啥简中互联网就吹起这么一股妖风，把这个当成什么坏事

被一些假道德人士到处抹黑，明明自己都完全不懂技术

应该还A/带坏的吧

直接看祖师爷的论文吧，讲得还是很明白的 ^-^

这篇文章这么早，但是还是很有参考。

现在蒸馏一般分白盒黑盒吧，白盒就是这行祖师爷提的那个，教师模型开放自己的Logits给学生模型。

黑盒就是，根据模型对话拿到高质量的语料和思维链训练。这个是OA两家宣称的那种。

哦哦哦，明白了