- uptonking2天前
小模型用CPU来跑似乎可行， 我的macbook air跑4b/8b的小模型都还行。
趁着马上的黑五/双11活动， 想找台合适的小鸡来玩小模型。
似乎只有性能鸡才能满足这个需求， bero最近很火，不知道跑 1B 左右的模型怎么样。
还是说只有杜甫才能提供足够的性能来跑小模型 🤔
有没有玩过的大佬， 分享下适合AI的小鸡。。。
腾讯有个 1.8b 的翻译模型， 我挺想试试 CPU 部署的，Q4量化版才 1.1GB, 理论上很多小鸡都可以跑
https://huggingface.co/tencent/Hy-MT2-1.8B-GGUF
主楼 - lib2天前
1b 能用？
- uptonking2天前
聊天、生成标题、总结 这种简单任务可以用小模型的， 本地模型发展快， 1B也很强的
- lib2天前
这样啊，好久之前部署过4B的，胡言乱语的
- wonders2天前
我也是，之前部署小模型，觉得妥妥的人工智障……还不如开个网页版gpt，最后还是放弃折腾了，
- uptonking2天前
通用领域的小模型能力弱也许不适合cpu部署， 特定领域的模型可以试试，
腾讯有个 1.8b 的翻译模型， 我挺想试试 CPU 部署的，Q4量化版才 1.1GB, 理论上很多小鸡都可以跑， 我想找台合适的
- duyaoo2天前
完全没必要，随便找个免费的都比他强（
- VKON22天前
小模型除非自己拿来做学习用途的微调，或者有隐私需求，不然不如免费云端模型一根🤣