M5 64G 的 Mac mini 可以买来跑本地模型吗？

可以，玩具性质，tok/s 很低；建议有条件还是上 spark

英伟达 DGX Spark ，本地化的起步吧

树莓派也能跑，就是跑多大模型，跑多快的区别。

内存带宽太低，不支持 FP8/FP4 ，不值得买

跑不了的，太烫了。可以试着改造散热看看

OK ，看来下一个 MacBook 16G 够用了

显存带宽不够，速度起不来。内存大也是白搭

如果是 27b 的稠密模型，速度还不如 7900xtx ，同样预算下如果有两个 R9700 也是不错的选择。

跑不了本地模型啊， 那市面上宣称本地能跑的模型都是玩具吗？
@oldlamp
@ares001
@Eleutherios

跑的了的，我的 M4pro 64G 当年买了就能跑，去 hugging face 上找那种不是很大的模型，跑一跑就行，gpt-oss 这个也行，
生成图不太行，非常耗内存

2 年前玩的，现在应该要比我玩的时候简单点，也对 macOS 有了不小的优化

玩一玩呗，又没啥风险，内存爆了，程序自己就停了。

看了几个视频，M6 跑 Qwen3.8 27B Q4 量化，才 9 ～ 10 t/s ， 太慢了。

哦，现在 hugging face 上有检测你的设备能不能跑你选择的模型的功能，非常的省事。无非就是慢。

市面上的你得看价格，我觉得 64G 的 Mac mini 算是性价比最高之一，而且还有苹果的售后。

@yexiaoqi m5max 能跑 27B 和你 m6 有什么关系呢？没有的

那就是只能玩玩，没法当生产力呗
@ashong
@usVexMownCzar

我之前用 Mac Studio m4 max 64g+qwen3.6 27b 试过一小段时间
速度慢 可以干点小活 但太容易爆内存了