TPS有时候能一两百,有时候只有个位数,是因为上游变化吗?
是的,你看消费,官渠基本就0.0几,你好像上下文超400k后就会到别的渠道,特别贵
好像确实是这样,上下文小的时候,几乎秒回,现在600k了,比GPT还慢了,但是偶尔又能快上一两次
昨天还用的好好的,今天完全就是不可用的状态,果然便宜没好货吗 ^-^
跳到阿里渠道了吧,又贵又慢