如果不是为了cpu offload或者老显卡限制，不太建议用原版llamacpp，性能不太行。 可以考虑exllamav3跑exl3量化的，有不同大小可选，同bpw下比QxK效果更好，速度也更快，不过只支持chat completion的api。

你喜欢/习惯买东西去山姆是自己的事，但担心其他超市便利店怎么活下去就……

 陪一个qwen3.8-flash-next，120k雷霆大思考的结果