• blackbeard

    两张的显存加起来是200多g,但是deepseek v4 flash有500多g。

    两张能跑吗?接受速度变慢的情况下。

    还是说只能租四张来跑?谢谢佬们

    主楼
  • llmtest

    你们多少个人用并发量算过吗? 其实现在一般的部署方案就是dgx

    #1
  • c.skeleton

    还要考虑 kv cache 和并发,能跑起来聊天和能给 Agent 用是天壤之别

    #2
  • Light

    两张B300可以并且是推荐配置。两张H200跑不起来常规推理引擎,只能跑那种给个人玩的不支持高并发的玩具引擎。

    #3
  • George-linuxdo

    话说 H200 两张啥价格呀 ^-^

    #4
  • 比卡丘

    跑Q4量化估计没问题吧,我记得dsv4f才160g的文件啊,

    很多双dgx都在跑。

    #5

发表回复

登录后回复