• Zis30axs

    前段时间在旧笔记本(M2000M 4G I7-6700hq ddr4 16gb)上跑了qwen3coder9b和qwen3.8-27b q4xs,一个9tks,一个1.4tks。快变成我的白月光模型了。

    但是tks太慢了,想弄个专门跑ai的。配置大概是:

    e5-2680v2 40-60

    ddr3 16g x2 200-250

    P100 16g x2 650-800

    500G 机械硬盘 x2 100-130

    x99大板 125-160

    亮机卡 20-40

    电源1000W 150-200

    剩下杂七杂八散热器什么的东西可以加200(为什么没有显示器?家父留的外星人m17x r3有先进的HDMI IN)

    但是我又担心将来显卡不适配了,真的有必要吗?

    主楼
  • Moyuuuu

    买一堆电子垃圾跑毫无用处的模型意义在哪呢

    #1
  • Scheme

    不值,

    笨蛋模型,可用性还不如随便找个公益站用反代的

    #2
  • 米塔

    不值,1500充给API的话,性价比远比你这个高,低价本地部署小模型永远还是不如API的智商高

    #3
  • weq

    用本地模型除了没限制可以瑟瑟以外的意义是什么

    #4
  • EVELance

    你这配置能跑得起来 27b 吗?

    #5
  • nnas

    佬 有没有测试过,这个本地跑每秒有多少token呀

    #6
  • songslh

    佬,真正决定token价格的,除了表面上看起来的token输入输出缓存,还有一个很难量化的东西叫任务成功率。

    小模型堆起来你任务成功率没有,这token拿来写小说你都嫌不说人话啊。

    #7
  • Kiron

    不值,大模型对显卡要求很高,你这配置类似的电脑我这里有一大堆都没办法

    #8
  • 沙

    你这配置表最多跑跑Embedding吧,跑正经模型得墨迹死。

    #9
  • kyomic

    有这个钱买TOKEN多好,专业的事找转业的人做,借着TOKEN搭应用赚自己的钱

    #10
  • DROP_TABLE.user_info

    1.4tks基本告别日常使用了,有这钱还是买api key划算

    #11
  • 幻风Richi

    不建议本地部署ai,除非你要无审查/NSFW/私隐,API性价比&智商更高,另外,P100很旧,用vllm要去 Github 自行 patch PR #4409,自行编译

    #12
  • Naruto

    你不是想用ai,你只是在“全都是属于我自己”的自我暗示下,享受着看屏幕上不断涌现出字符的快感

    #13
  • LlNUS

    一个 9tks,一个 1.4tks。快变成我的白月光模型了

    佬,能问下是哪里吸引住了你吗?

    我做个社会调研

    #14
  • kyrie

    充给中转站都比你这样把钱扔了好啊 佬友

    #15
  • ZGMF-X00A

    经典只算钱,不算时间成本,不算成功成本。

    #16
  • Zis30axs

    ^-^被佬们骂清醒了,主要是b站有很多测评小模型的,被带偏了,还是留着弄点正经的吧

    #17

发表回复

登录后回复