• Paranoia_Gu

    分享一下我的命令,也许并不是最优,但是也是我目前调到最优的状态。欢迎大家提出更好方案。```
    #!/bin/bash

    nohup ./build/bin/llama-server \
    -hf unsloth/Qwen3.8-27B-GGUF:Q4_K_M \
    --parallel 1 \
    --ctx-size 262144 \
    --cache-type-k q4_0 \
    --cache-type-v q4_0 \
    --flash-attn on \
    --split-mode tensor \
    --spec-type draft-mtp \
    --temp 1.0 \
    --top-p 0.95 \
    --top-k 20 \
    --min-p 0.0 \
    --presence_penalty 0.0 \
    --repeat_penalty 1.0 \
    --jinja \
    --chat-template-file /mnt/data/llama.cpp/qwen3.8.jinja \
    --reasoning on \
    --reasoning-preserve \
    -fit off \
    --cache-ram 1024 \
    --host 0.0.0.0 \
    --port 4086 \
    --n-gpu-layers 999 \
    --chat-template-kwargs '{"enable_thinking":true,"reasoning_effort":"xhigh"}' \
    --log-file run_Qwen3.8-27B-GGUF-Thinking.log \

    /dev/null 2>&1 &

    主楼
  • 一人一根辣条

    效果如何啊? 多少token每秒

    #1
  • Paranoia_Gu

    差不多:60token/s

    实际还要看上下文长度。

    #2
  • w61

    你这是怎么的两张v100啊,是pcie还是用nvlink连接的?求问,我也打算搞一个

    #3
  • Paranoia_Gu

    用V100 300G NVLink扩展底板,然后再接到2个PCIE上。所以实际上已经是PCIE了。

    #4
  • Paranoia_Gu

    补充:我劝你不要搞。很鸡肋,价格也不便宜。

    #5
  • lkainan

    我也想搞一套,楼主的方案还在用没呢?

    #6

发表回复

登录后回复