开MTP没有？我单卡V100-32G的Q4_K_M，kv-cache也是用的q8_0，开启MTP，256k上下文，速度也有45tok/s

是要直接订阅的才有

Qoder桌面版，是很消耗GPU的，在我电脑上就是看到GPU消耗很高 ^-^ ，不知道是不是我的这个亮机卡问题，Codex desktop或者claude desktop都没有那么消耗GPU

具体还是看具体什么场景什么任务，纯写代码这些，小参数的模型确实不太行

主要是在于上下文一开高了就慢了，我KV Cache都是配置的100多G显存 ^-^

不知道那些佬是咋跑的，自部署这块我也是个新手，我还加个各种优化的参数，是跑的qwen3.8-27原版的bf16精度的，我看都是说对A卡优化不好

^-^ 在魔搭社区提供的AMD算力上200G内存+192显存，测试过256k上下文，速度还是有些慢，不知道是我部署问题还是算力问题