• Azrael

    公司买了2台dgx spark+专用的200G线,我这边现在有root权限可以操作,请问有没有佬成功用2台dgx spark 部署dsv4f的,求个教程。 主要是网上搜了下看不太明白,希望能佬能指路,最好是有 docker compose文件和对应模型权重的,谢谢

    主楼
  • Nul1_ptr

    dgx spark

    油管和X上看到过,发现传到github了

    maliubiao/dgx-spark-2-deepseek-flash-0731: setup guide for deepseek-flash-0731 on two dgx-spark from scratch

    #1
  • shyrock

    github.com

    图片

    GitHub - maliubiao/dgx-spark-2-deepseek-flash-0731: setup guide for deepseek-flash-0731 on two...

    setup guide for deepseek-flash-0731 on two dgx-spark from scratch

    #2
  • Azrael

    感谢佬,我去研究一下,看能不能直接跑起来

    #3
  • muffin

    贴主到时候能发下自用感受如何吗?我蹲一下成功的反馈

    #4
  • Azrael

    可以,我先看下能不能学着这个教程跑起来,实操起来还是比较麻烦的

    #5
  • Crain

    放到docker里面真的不会有性能损耗么

    #6
  • EricJ

    这玩意我起一个 1.3B 的模型整个系统都会卡死,不知道为啥 ^-^

    #7
  • Azrael

    可能是镜像版本或者模型量化版本不对,我这边目前跑的qwen一切正常。

    图片

    图片

    #8
  • EricJ

    应该是我的代码写的有问题,我这个模型暂时不支持 vllm,sglang 这些加速库^-^

    #9

发表回复

登录后回复