公司有3台8卡的海光DCU K100_ai(单卡64G) 服务器,没有IB交换机,所以只能单台8卡部署,请问佬友们,这个配置除了部署qwen3.8 27B之外(限制于海光生态的vllm兼容版本),还能部署什么模型啊? ^-^
qwen 3.8flash,精度低一些应该可以吧
ds v4f 应该也可以跑的吧,咱都这个状态了,肯定也不会考虑大并发