wind2026-10-01
26900
部署qwen3.8 27b，大佬们推荐个版本，dell7920工作站，RTX3090 24G*2，内存128，单卡时候45-50t/s，双卡上下文256k了，速度还是50-60ts没啥提高，这咋办？画个鹧鸪骑自行车，5分钟以上，效果可以。用的q4 kvq8-0,有什么好办法提升速度吗？没有nvlink
主楼
HogskinKitty2026-10-01
26901
开MTP没有？我单卡V100-32G的Q4_K_M，kv-cache也是用的q8_0，开启MTP，256k上下文，速度也有45tok/s
#1
天天开心2026-10-01
8911
让astra给你优化，我昨晚把qwen3.8-flash丢给他优化效果很不错
#2
wind2026-10-01
26900
开了呀，让ai部署的
#3
wind2026-10-01
26900
有astra，佬，既不本地部署了。囊中羞涩呀
#4
leioukupo2026-10-01
6692
hyperqwen这个部署框架不错
我单3090也能跑一个不错的质量
#5
W1nge2026-10-01
4840
要不然研究一下Strata这个项目
佬这个配置都可以直接部署 Qwen3.8 flash next Q6 了
如题
Reddit 老哥给 Qwen3.8 flash next 开发了一个专用推理引擎 Strata
在同样的 5070 12G + 64G 5600内存 + 六核 7600 CPU 配置下能够跑到
Q2_0 → 65.1 tps decode + 543 tps prefill
IQ2_XS → 52.0 tps decode + 472 tps prefill
IQ3_XXS → 44…
#6
W1nge2026-10-01
4840
当然如果只编程的话可能还是27b要好一些。
但同Q6下面 27b的Kv cache会比较受限
#7

登录后回复

想部署qwen3.8 27b，大佬们推荐个版本，dell7920工作站，RTX3090 24G*2，内存128