• 司马老贼

    图片

    双卡nvidia a6000 48g,没有nvlink,每张卡分别部署了一套qwen 3.8f q4。

    让astra自己写了个负载均衡的管理系统,速度不错啊。

    希望后续能跟进别的模型 ^-^。

    主楼
  • lemos

    q4 够用吗?

    #1
  • 司马老贼

    图片

    画了只鹈鹕感觉还行啊,claude desktop画的

    #2
  • 小风小浪

    用的哪个量化?

    #3
  • 司马老贼

    Unsloth 的 UD-Q4_K_XL 混合量化

    #4

发表回复

登录后回复