- 日常
- 日常@kennylam777 我没指定 小模型没怎么玩过。就是先调研下大家,有没有私有化部署的经验案例
- 日常
- 日常@moonvstod 硬件预算不能太高了,不然这单没法做了,企业觉得都不划算啥的。5w 感觉都是顶了,能更便宜最好。而且能让企业并发来说几个人,还可以扛住。一般企业也就几百个人。
- 日常
- 日常@twk93 大佬,就是中型企业 200 人规模的。 并发估计也不大,最多几个人。 您这边有实践么? 24G 跑 14B 的 Q4 。
- 日常@defa21312 企业内部真实部署么?跑的起来的。 硬件成本感觉最多 3w 吧
- 日常@kennylam777 R1 这都不是重点,就是内网部署,现在有没有能用的性价比的模型,企业实践过的,要是太贵了压根没人玩。