• 自驾游

    电脑是24G显存,32G内存,想部署一个本地大模型,用于参加ctf比赛,有没有推荐部署的,是qwen27b还是其他模型。然后框架有没有直接现成的。求各位大佬解答

    主楼
  • 墨尘

    qwen27b 塞不下的话试试bonsai 2

    #1
  • 咪叭

    qwen 3.8 27b 吧

    用4bit量化版本就行了,简单上手的话就用llama.cpp

    #2
  • npc5200

    qwen3.5 9B无拒绝,可以试试玩

    #3
  • PJ568

    盆栽长任务太烂了,看它论文里除非都是数学类的 One-shot,都不推荐用。

    #4

发表回复

登录后回复