有了解大模型众测的佬吗?
126
- 硬气一点2026-09-0312778
最近陆续收到一些大模型的众测邀请,大多数需要提供真实数据、prompt、产出物和测评结果,承诺审核通过会给予一定报酬。
我第一次参与这个不太清楚,自己提交了几个感觉还挺费时间的。有两个问题想问一下:
1.这种活动靠谱么,会不会就是为了图你的数据,需要注意哪些坑?
2.我现在手上没有那么多数据,有没有比较好的数据集、项目可以学习、或者重新构造题目
主楼 - COSMOS2026-09-0336271
是什么众测,有渠道吗,我也想尝尝新模型
- 席乐2026-09-0318922
真实数据 prompt 不都在他手里吗?还需要你另外提供的?
1 这活动靠不靠谱,你羊毛薅到就好了呀,别把自己的 prompt 看得很金贵
2 没那么多数据嘛,就少用。
如果一定想要用,把最常用的开源软件代码下载回来,跑一遍代码治理:
检查潜在的问题并且修复,补齐测试,让文档对齐代码
然后提交 PR 为开源软件做贡献
- 硬气一点2026-09-0312778
就是编一些测试题目给大模型测试,然后写评价。去Boss直聘搜什么大模型评测\AI 测评有这样兼职岗位
- 硬气一点2026-09-0312778
自己提供,要是它提供我只写评价就省事了。我理解他们就是用来验证模型好不好的,编写的是针对于自己提交数据的任务prompt,麻烦的是还要考虑跑出来的结果怎么分析评价。所以我最后都会要求大模型再给我生成一份日志文件
- 硬气一点2026-09-0312778
你提到的那个属于coding类的测试,我主要做的是general agent类的测试,就是通用的日常办公类,数据不太好找到真实的项目,要么就是太简单了不好编成题目去测
- winerose2026-09-0313263
查一下看看有没有开源的数据集,看能不能在上面改一改