- YAOHUO2天前
96G显存的NVIDIA RTX PRO 6000 部署GLM-5.3-Flash-IQ4_X 跑个鹈鹕跟个龟速一样,花了30分钟
其他模型也试了,Ornith-1.5-122B-Q5 ,Qwen3.8-Flash-Next ,Qwen3.8-27B-BF16,基本跑出来的鹈鹕轮子是飞掉的
佬们还有其他小模型推荐吗
主楼 - Stone2天前
自己部署模型，我感觉没有什么意义，如果是企业的话，小企业的话，他可以买几个mini合并起来，自己做一个属于自己的知识库，这个是可以的然后，他想搞那种大模型的话，我感觉是不现实的
- Pokeman2天前
自己部署的话估计是混元这种翻译了
- Kassdin2天前
- Dowad2天前
要接受有人万元耳机只为听个响，真就图一乐
- bittenbydog2天前
没有 离线/敏感/私有化 需求的话，还是别折腾了，感觉没什么太大必要。
- YAOHUO2天前
我感觉也就翻译和OCR实用点 其他的差点意思
- Pokeman2天前
差不多，要么就布置那种中小参数的，比如9B这种甚至更低，一般参数越小越快，像那种20+B的跑起来也吐字慢
- 毛毛虫2天前
不应该是用来部署nsfw的画图模型吗^-^
- 时牧2天前
一般用来玩图片生成这种吧，为了无审查
- YAOHUO2天前
哈哈哈 我是要成为 X漫榜首的男人