• 月下清风蝉鸣

    公司有3台8卡的海光DCU K100_ai(单卡64G) 服务器,没有IB交换机,所以只能单台8卡部署,请问佬友们,这个配置除了部署qwen3.8 27B之外(限制于海光生态的vllm兼容版本),还能部署什么模型啊? ^-^

    主楼
  • dabao1955

    qwen 3.8flash,精度低一些应该可以吧

    #1
  • chongxs

    ds v4f 应该也可以跑的吧,咱都这个状态了,肯定也不会考虑大并发

    #2

发表回复

登录后回复