- dfeiwej2026-09-10
最近看b站上面各种自部署的教程有点心痒难耐，请教各位大佬：
Qwen3.8 27b 能不能干活了？预期角色就是在主力Agent的指导下当一个子代理纯干活
如果体感还可以，推荐用什么卡部署呢？v100 16G 我看讨论的最多。
主楼 - mio2026-09-10
别人我不知道 我自己4070s 只能部署量化3比特的 效果很拉 没再测试了 本地能干活应该至少要4比特吧 显存20G勉强够用
- dfeiwej2026-09-10
是的，至少要4比特。我看至少要2张v100 16G
- mio2026-09-10
太贵了 就性能而言 买卡的钱 买订阅能用到天荒地老了
- Wu_Li2026-09-10
部署了试过了，不开thingking是一坨，开了thingking勉强可用，甲也挺厚的
- dfeiwej2026-09-10
v100 目前还不算贵呢
HogskinKitty2026-09-10^-^ 在魔搭社区提供的AMD算力上200G内存+192显存，测试过256k上下文，速度还是有些慢，不知道是我部署问题还是算力问题
- dfeiwej2026-09-10
我看有的用7900xtx 能跑到70左右的速度
- Natsuki2026-09-10
公司有台AMD AI MAX的机器 8060s，128GB统一内存，用LMstduio部署，上下文 256K TPS在30左右，感觉速度还是不太行，
- HogskinKitty2026-09-10
不知道那些佬是咋跑的，自部署这块我也是个新手，我还加个各种优化的参数，是跑的qwen3.8-27原版的bf16精度的，我看都是说对A卡优化不好
- Timetzh2026-09-10
本地部署的作用是用来做点不让人知道的事情，否则本地部署意义不大。现在让它在写透视和驱动玩玩，但是效果很慢
- HogskinKitty2026-09-10
主要是在于上下文一开高了就慢了，我KV Cache都是配置的100多G显存 ^-^
- HogskinKitty2026-09-10
具体还是看具体什么场景什么任务，纯写代码这些，小参数的模型确实不太行
- Natsuki2026-09-10
我没做什么优化，直接LMStudio默认参数跑的，实际优化空间还很大，自己lamacpp调一调参可以提升不少速度的