• 苏白

    基于之前搭建qwen3.8 27b的方案 我觉得可以整一个拼车租算力 我之前租的是3090 4卡 配置了加速后 fp8量化 大概能有60-80token/s 每天好像是73块钱 如果有佬想上车 可以留个言说不定

    主楼
  • 苏白

    不过总kv池只有 500多k 如果人多的话 可以上更多的卡

    #1
  • calendar

    73?还是每天?这真的有性价比吗

    #2
  • 苏白

    73块钱 一天佬 周租 月租 那边会给优惠

    #3
  • 陆仁

    这个模型就算找平台购买也不会很贵的,一般都是拿自己闲置卡跑来用用,并发提升之后tps会很慢也没必要

    #4
  • 李天梭

    73乘30,2190。一个月算你打五折,1095,为什么不续费同样价格的GPT6 pro20呢?

    #5
  • 苏白

    佬我也只是想想 看看有没有人 我自己就有2个 Claude max 20x

    #6
  • 苏白

    我刚刚问了一下 4卡602一周

    #7
  • 苏白

    本地部署一般都是冲着 破甲 越狱去的

    #8
  • a377179415

    怎么会拿4×3090跑这个模型呢佬,而且4卡只加容量速度跟单卡没啥区别,一张卡都可以玩了,2080ti 22g ×2 现在跑都40t-50t速度 128K上下文,要配置偷鸡解码的

    #9
  • 苏白

    配置了的我也忘记了 当时什么速度了 最高能跑到 100多tps

    #10
  • 🅄🄽🄲🄻🄴𝕁𝕚𝕞𝕒𝕠

    这一周咋还反向打折了? ^-^

    73*7=511?

    #11
  • 苏白

    刚刚问的 涨价了 现在80多一天 73是我之前租的价格哈哈

    #12
  • Tipper1971

    部署 无审查&满血版,拼车才有意义吧

    #13
  • 苏白

    是的 不然没意义的

    #14
  • 苏白

    不过各位佬有想法 可以自行组织的

    #15
  • windsing

    60-80token/s

    并行起来就没那么快了吧。感觉买算力的成本也还是太高,不知道能不能考虑colab pro那一些。我试了一下免费colab+无审核q4量化版大概只能30tps左右

    #16

发表回复

登录后回复