- darkstarrd2026-10-01
Strata之前用了一阵子Ninfer，速度快最爽的是可以高并发，也就算了，毕竟也就是27B dense
Strata一出来各种离谱的结果，8g+32gram的笔记本都能跑120b的moe模型了
稍微好点的老爷机本地开1M上下文，另一个号称自己优化后4090上跑到220tps的
这个框架还欠缺的就是并发能力和视频推理能力了，这两个还是得用Ninfer
这么搞下去，硬件还有可能降价吗
主楼 - sg80112026-10-01
我已经用strata来作为本地的主力模型来做一些小任务了，以前都不敢想我一个破16G 的4060ti，能跑这种模型
- darkstarrd2026-10-01
这个已经不是小任务的范畴了，3.8 flash next比老版的ds4f都强
最重要的是马上qwen4.0又要出来了，更强的27b和flash，现成的推理框架
还有传说中的ds mini本地模型
日子真是好了
- lkainan2026-10-05
- darkstarrd2026-10-05
主要这玩意一下子把一堆老古董硬件都给拉起来了
不管是十几年前的老xeon还是ddr2内存，v100那种没啥用的卡，全都可以用上
而且项目更新也很勤快，从我刚开始用到现在，速度几乎已经提升了一倍了
这个是测试搓的中国象棋
darkstarrddev.us.ci
棋室 · 中国象棋 3D
- 卧靠2026-10-12
- seq0014天前
我手里好多老服务器，全是xeon+DDR3的内存，是不是配几个老显卡，也能搞一下。能安装cuda最新版本吗
