- yjhatfdu22026-09-2251399
我进行了以下测试发现 Jev 完全没有任何价值完全是噱头,
- 我使用了 vllm+Qwen3.8 27B 本地部署,构造一个 prompt ,直接从接口输出 topk logprobs ,直接可以读取单选项 token 概率换算即可,不需要自定义采样,几行脚本就行都不需要很复杂的开发
- 各种官方用例端到端延迟 100ms 以内(包含网络延迟),并没有比官方的慢(实际上官方 API 基本上在 1000ms 以上),用小模型会更快
- 测试了官方给的各种简单和疑难案例,结果符合率 100%
- 对于非常明确的问题,Qwen 给出来的 choice 概率更明确更自信
- Qwen3.8 还可以做到 Jev 完全做不到的图片输入判断
- 使用 GPT 编造足够复杂和绕或者模糊或者专业的问题,Qwen 正确率高于 Jev
- 总结:基本就是个本科生机器学习课后作业水平的垃圾玩意儿,现在真的很多人都是 LLM 出来以后才知道 AI ,感性理解 AI ,基本不懂原理,很容易被忽悠
主楼 - heganj2026-09-2251400
想问下大佬,Jev 官方说的采样器和并行训练,是否有参考价值?
- yjhatfdu22026-09-2251399
- yjhatfdu22026-09-2251399
其实主要还是大部分人用 llm 只会输出一长串 json 不会使用原始 logprobs 而已
- billlee2026-09-222583
是啊,我看第一眼感觉就是:“这不就是一开始没有自回归的时候的模型吗”
- hackyuan2026-09-2242227
Qwen 的宣传口、应用口还是缺乏能力,真的是心目中超好用的小模型了。
- SkywalkerJi2026-09-221643
阿里做事不行,开源还名声这么差。
- wsseo2026-09-2244052
不可能吧,最近这么火。不可能每个人都不懂。
- yulon2026-09-2346758
- yjhatfdu22026-09-2251399
- keenkiller2026-09-221484
如果它预测明天股市的涨跌准确率达到 80%以上,我就承认他有点用 XD
- Charlie17Li2026-09-224114
不是主打便宜又快吗?感觉有用之地吧;
- cctv62026-09-221482
我也这么觉得的,第一次看的时候感觉这个东西就是普通的 llm 关掉推理,给个提示词只输出结果。
一些网上看到的游戏演示 demo ,基本上都是有水分的(刻意引导让人觉得这东西很强)。模型图片都不识别,玩游戏全都靠其他模型报坐标给信息,真的有这些点位信息的话,其他模型一样也能快速操作响应,甚至不用模型都可以实现。
- EchoDeveloper2026-09-2251401
使用 Qwen3.8 直接获取 logprobs 在不同问题上不会存在数值不一样的情况吗? 还是说只做选项值选中 logprobs 更接近 0 的数
- skuuhui2026-09-222940
1. laya 本地部署 n100,1g 内存都用不到,就可以部署。常规测试响应在 200ms 内。
2. 自回归是什么,起到什么作用。
3. 以前做 java 的程序员恨不得把世界上所有的软件都用 java 实现,但是 lua 还是在一亩三分地实现自己的价值。 - yjhatfdu22026-09-2251399
@EchoDeveloper 取所有的选项的概率做个 softmax 或者简单的按比例算个权重就可以了
- codehz2026-09-2337305
我觉得大模型约束解码方向有很多有意思的东西可以玩,但似乎当前都抛弃这个路线了。。。
- fredweili2026-09-232372
就算性能差不多,27B 商业部署的推理成本呢? JSON 的稳定输出怎么解决?
稳定+便宜+快速,全部做到=课后作业,你会怎么不早点做出来呢?