• Hao-linuxdo

    之前基于 CLIProxyAPI Codex 降智测试插件 cpa-codex-candy-eval 开发了一个降智巡检脚本,可以配合 crontab 进行定时巡检。

    本次更新主要是巡检规则的变化。正常号我们将 priority 设定为 99,降智号设定为 0,这样刚好可以适配 CPA 的调度策略,即使降智号保持启用状态,在所有正常号额度耗尽之前,请求都不会进入降智号。那么巡检规则如下:

    原 priority |
    首测结果 |
    处理 |

    0(降智号) |
    答错 |
    保持 0,不复测、不通知 |

    0(降智号) |
    答对 |
    等待 240 秒,再测两次;三次都答对才调为 99,通知恢复正常 |

    99(正常号) |
    答对 |
    保持 99,不复测、不通知 |

    99(正常号) |
    答错 |
    直接再测两次;三次都答错才调为 0,通知确认降智 |

    上述规则通过首测+复测解决了以下问题:

    - 避免将正常号 gpt-6.1-sol(low) 偶发性答错糖果题判定为降智

    - 避免将降智号 240s “伪恢复”判定为恢复正常

    - 节省巡检 Token 开销

    感兴趣的佬可以在安装 cpa-codex-candy-eval 插件后,使用下面的 prompt 部署降智巡检脚本:```
    请按照 https://raw.githubusercontent.com/haowang02/cpa-plugin-codex-candy-eval/main/docs/inspection.md 中的教程,在这台机器上部署 Codex 降智测试插件的定时巡检。

    我的配置(没写的项保持脚本默认值):
    - CPA 地址:
    - CPA 管理密钥:
    - 巡检频率:(例如每 30 分钟)
    - 糖果测试模型和推理强度:(例如 gpt-6.1-sol、low)
    - 巡检范围:(例如所有 codex- 开头的认证文件)
    - 是否自动调整 priority:(是或否,可指定降智和正常账号的 priority)
    - 通知方式:(ntfy 的服务器地址、主题和账号密码,Bark 的推送地址,或不通知)

    部署后先手动运行一次,确认巡检能正常完成,再配置 crontab,最后告诉我日志的位置。缺少必要信息时先问我。
    ```为什么不把巡检功能做到插件里面而是使用脚本配合 crontab?

    每个人的巡检需求都不一样,使用脚本配合 crontab 让大家能根据自己的需求自定义巡检脚本(用 agent 很容易完成),而不是为每个人的独特需求扩展插件。

    主楼
  • Bin_Chen

    有没有办法解决降智? 全都是降智的号。

    #1

发表回复

登录后回复