- loong2026-09-11
公司采购的新服务器，7*A100 80G，打算本地部署大模型，用来做标书生成，知识库问答，最好也能vibe coding，部署什么模型合适？
主楼 - pineapple2026-09-11
目前看等dsv4.1f开源
- 间窗(Vinto)2026-09-11
（帖子已被作者删除）
- shyrock2026-09-11
560G？好像卡在了ds4.1f的边缘上，不知道能跑起来不。。。
- lzy2026-09-11
4.1不是588B来着，够吗
- 若可2026-09-11
7张而不是8张吗？应该实际上只能用4张，TP 之类的多卡部署切分是要能整除的。
- tukjet2026-09-11
。。。为啥是7张？你tp怎么切。。。4+2+1？部署3个不同大小的模型？
- loong2026-09-11
目前是这么打算的 七张是因为涨价导致的,本来是八张的…
- tukjet2026-09-11
hhhhh，和我一样，我申请的预算是8卡pro6000的，结果批预算花了4个月。涨价涨的2卡pro6000都够呛了
- 若可2026-09-11
- bfloat162026-09-11
最多dsv4flash，上下文能开256k，开1M会CUDA OOM
- loong2026-09-11
A100 本身并不支持 FP8 Tensor Core。好像没办法直接部署DS和GLM,GitHub上有分支版本，但是不知道是否靠谱 。GitHub - yunyinbanfu/deepseek-v4-flash-0731-sm80: SM80/A100 support package for DeepSeek-V4-Flash-0731 on vLLM · GitHub，七张确实感觉很抽象。。。。
