• cjkcjkcjk

    预算三万内,最高不超过五万。
    求大佬推荐机器型号和配置 🙏🏻

    主楼
  • luodan

    RTX 6000 48G *8, 免强能跑 4.1, context 只能稳定在 256K

    #1
  • JerningChan

    哈哈哈哈,那可以跑个 qwen3.8-27b 4bit 量化。。。
    你随便一张 5090 都多少钱了? 4090 那些
    22g 的 2080ti ,也能跑,但是就相对慢一点,而且上下文不太够

    #2
  • LGZzzz

    bilibili 搜本地部署有很多视频讲本地部署这个事. 本地部署恼火.

    #3
  • iorilu

    3 万看买内存够不够

    本地玩说实话没十几万别折腾没意义, 尤其你还想靠这个赚钱的话

    比如配一个专业显卡, 至少 72G, 这卡可能现在就要十万, 再加几万买内存, 至少 256G

    #4
  • faker5276

    新出的 NVIDIA RTX Spark 能跑 4.1 吗?

    #5
  • GavinZZ

    3 万内可以买那个 amd ai max 495 或者 395, 395 稍微便宜点,跑 qwen3.8 27B 还是挺流畅,40tps ,v4.1 flash 吃点力,参数量大,跑个量化版也能跑

    #6
  • kerwin1874

    一张 rtx pro 6000 都十几万了,几万预算建议去租机器玩,或者玩玩 qwen 3.8 27b 这种图一乐让它写写黄书还是可以的

    #7
  • Muniesa
  • duanxianze

    搁这做梦呢??你加两个 0 都不够

    #9
  • duanxianze

    @faker5276 不能 也只能跑 qwen 3.8 27b 这种

    #10
  • penisulaS

    我现在 m2max 96G 就能跑 q2 量化的 deepseek v4 flash ,4.1 变大了很多,qwen 3.8 flash 能跑 q4 量化的

    #11
  • koic

    13 万啊,得是 Mac Studio M5 Ultra 256G 16T(30+64 核)台式机 Z1U5000DG ;就这也不到 100 tok 吞吐啊,你再低配就只有 20-35 tok 了

    #12
  • juzisang

    qwen 3.8 27b 这种小模型,雷霆大思考,思考过程能占满上下文...根本没法用

    图片

    #13
  • AIgogo

    预计年底前后这些硬件会降价一波.....

    #14
  • sunmacarenas

    dgxspark 没涨价之前 128G 的 3 万以内可以搞定,能跑 qwen3.8-next-flash-NVFP4 的模型

    #15
  • BeforeTooLate

    DeepSeek v4.1flash 本地部署还要流畅,我感觉 50w 都不一定行

    #16
  • Haku

    两台 RTX SPARK 应该可以拿下 dsf4.1

    #17
  • Haku

    @Haku 现价大概 8w

    #18
  • dododada

    @luodan 老哥你用的 U 是什么型号的?几个 U 啊

    #19
  • codehz

    要跑 200tok/s 这种实用速度的话预算至少乘以 100 才行,否则只能是乌龟爬

    #20
  • pnczk2019

    试过几次。感觉本地部署就是自己找罪受。

    #21
  • wenxueywx

    之前测试 H20 跑 Qwen3.8-Flash ,结论: 短输入、短任务、低并发:快。长上下文、多会话并发等待长,体验差

    #22
  • wises

    @cjkcjkcjk 少听这些人吹牛逼,我昨天刚给朋友装了台电脑,配置如下,目前花了大概 2 万多,根据这个配置你的五万足够了。

    图片

    #23
  • mzotw2babm

    你这张 5060 Ti 能干嘛?出来搞笑的吗= =

    #25
  • qiuhang

    3 万就别想了,加两个 0 差不多。实在要跑,跑个 qwen3.8 27b, 去阿里云租点边角料的抢占式实例,一天 50 来块。跑点黄文,黄土,黄片什么的的也不是不行。如果用来写代码,真不如把 3 万拿去买商业 llm 套餐,能用好几年呢。

    #24

发表回复

登录后回复