• huanl

    需求:跑大量爬虫任务 + 大批量数据预处理 + AI 高并发请求 + 自动化数据分析 + 本地 AI 服务

    CPU:R9‑7900(12 核 24 线程)

    散热:利民 FC140

    主板:B650M(供电扎实)

    内存:64GB (32G×2) DDR5‑6400‑CL32 套装

    SSD:1TB PCIe4.0 + 4TB PCIe4.0 TLC

    显卡:RTX 4090-24G

    电源:750W金牌

    佬友们,那这套如何,在不本地部署大模型的前提下够用吧

    主楼
  • 斯特年

    主要看部署多大的模型,太大的话用内存会很慢的

    #1
  • Grogu

    没理解,是要把模型部署在这台机器上吗 ^-^

    #2
  • 谈

    跑本地大模型的话,4060ti 16g很吃力吧

    #3
  • popyui

    这部署个蛋大模型,跑e4b跟手机坐一桌吗?

    #4
  • 匿名者

    软件开发?这配置?闹呢?这配置能运行的也就能处理一下小东西。

    #5
  • 斯特年

    有条件的话,起码得上一个RTX pro6000

    #6
  • catboss

    是用这台电脑跑本地模型吗?4060还不如买老一点的高端卡呢?而且游戏卡显存基本也就能够跑个7B。能用来做软件开发吗?

    #7
  • AfricChang

    这个配置软件开发还行,并发调用本地大模型是什么意思?不是部署吧?部署的化就有点闹笑话了

    #8
  • 匿名者

    图片

    我这个跑本地都不行,你这个能干嘛?

    #9
  • lovesusu

    要本地部署模型用来开发, 至少也得是v4flash级别的吧, 这配置跑个智商正常的模型都够呛

    #10
  • 拓真

    这是要干嘛 这配置打游戏倒是够用了 ^-^。

    #11
  • madcat888

    你这个能跑啥?好像能跑一些模型。

    #12
  • popyui

    跑个量化的12b,陪自己谈恋爱可以,领导这是想谈了。

    #13
  • Ethanwu

    这配置太低了吧 用来翻译估计都不准

    #14
  • 羽于羊

    16GB显存似乎只能部署14b以下的模型

    #15
  • 乐观的摸摸头

    内存+CPU推理根本慢到没法用,16G显存连27B都部署不动,不要想了


    16G硬跑是跑得起来,上下文应该也就64K吧,再叠加多轮对话肯定要用到ram了,再套agent的话几乎带不动

    #16
  • weiwei

    除了浪费钱,这个配置想不到有任何作用,本地部署没几家能玩的起

    #17
  • lkjsdf

    跑ai,单卡5090都差点意思,4060跑不了,佬,

    #18
  • 匿名者

    图片

    #19

发表回复

登录后回复