之前就传出消息说ds要开源推理框架，刚刷新果然发布了，但是局限是硬件有限制
建议下次开源不支持Nvdia显卡。
不支持怎么赚钱卖token
^-^你看ds像是要卖token的样子么。都开源了，然后这个推理也开源了，这不是明牌告诉你们快去其他地方玩。
别的厂要卖啊，看样子是不接散户。小散户也不好拿到这些硬件
我猜会有一些人, 会拿这套已经开源的推理框架, 去做其他设备适配, 这应该就只是时间问题.
是的，我们就有这种需求
