• 唐洛

    开源推广发帖模板

    本帖使用社区开源推广,符合推广要求。我申明并遵循社区要求的以下内容:

    - 我的帖子已经打上 开源推广 标签: 是

    - 我的开源项目完整开源,无未开源部分: 是

    - 我的开源项目已链接认可 LINUX DO 社区: 是

    - 我帖子内的项目介绍,AI生成、润色内容部分已截图发出: 是

    - 以上选择我承诺是永久有效的,接受社区和佬友监督: 是

    以下为项目介绍正文内容,AI生成、润色内容已使用截图方式发出


    项目地址:GPT-Load

    官网:gpt-load.com

    原贴:🔥 GPT-Load 2.0 发布!!!轻量易用的自托管 AI 网关


    最近给 GPT-Load 加了两项安全相关的功能:请求脱敏和智能护栏。

    主要考虑两个场景:

    不希望自己本地的敏感资料或用户信息传递给上游,特别是使用中转时的信任问题;

    另外就是拼车时,希望对请求内容有一些实际约束,不要因为车友搞些不安全的操作(比如破限),而被官方封号。

    请求脱敏

    图片

    脱敏支持可逆加密和本地还原,可在客户端工具执行前恢复参数中的原值。

    平时 Vibe Coding 时,不可避免代码、配置或日志里面的邮箱、内部地址、密钥也会一起发出去。这些内容确实没必要原样交给上游。

    现在可以在 GPT-Load 里配置规则,匹配到的内容会先加密再发上游。模型原样返回密文时,GPT-Load 会在交给客户端之前自动还原。

    包括聊天回复,以及模型返回的客户端工具调用参数,都可以这样处理。

    例如,让 AI 调用客户端工具给指定邮箱发信。模型在工具参数中原样传回加密标记,GPT-Load 还原后,发信工具就能拿到真实邮箱。

    使用方式:

    - 配置:「全局设置 → 请求脱敏」。

    - 添加多个指定的正则规则。

    - 处理方式选择「可逆加密」,保存修改即可。

    - 脱敏功能不会请求模型,也不依赖 Jev。加密解密都在自部署的 GPT-Load 后端完成。

    这里也有个边界:模型本身看不到原值,依赖原文的分析、检索可能受到影响;上游内置工具拿到的也仍然是密文。规则处理的是文本,图片和附件内部不在范围内。

    Jev 智能护栏

    图片

    之前做了 Jev 的自动模型,这次加入了智能护栏功能。

    让 Jev 在请求转发前做一次判断:Jev 按规则审核,GPT-Load 根据结果执行拦截或标记告警日志。

    使用方式:

    - 配置:[全局设置 → 实验性功能 → 智能护栏]

    - 配置好 Jev 渠道分组、密钥和模型,并在「全局设置 → 实验性功能 → JEV 公共配置」中选择对应的分组和模型。之前用过自动模型的,可以复用已有配置。

    - 开启「智能护栏」,添加常用预设或自己的规则,调整命中动作和阈值。

    - 选择生效的访问密钥,保存修改。(可以只对部分 AccessKey 启用;留空则对全部访问密钥生效。)

    两个可选动作:

    - 告警:不会拦截,只会标记对应的日志。

    - 拦截:就是直接阻止,返回错误。

    Jev 智能护栏也可以和脱敏配合:请求先按规则脱敏,再将处理后的文本交给 Jev 审核。

    叠甲:智能护栏目前还是实验性功能,会增加判断耗时和调用费用,也可能误判或漏判。需要用户根据场景自行调教提示词规则,也欢迎反馈好用的规则(可能采纳为预设)

    欢迎大家体验,遇到脱敏还原问题、护栏误判,或者有好用的规则和使用场景,都可以一起讨论。

    主楼
  • 𝕿𝕒𝕜𝕒𝕪𝕒𝕞𝕒𝕄𝕒𝕣𝕚𝕒

    前排支持t佬,上一次用还是野生哈基米时期 ^-^

    #1
  • Aase

    来了来了,前排支持 ^-^

    #2
  • rasch

    前排支持,最近本地都是用GPT-Load

    #3
  • 刘皇叔

    前排支持!新增的都是很实用的功能 ^-^

    #4
  • MicroSeg作者

    支持T佬!

    每天5k请求,jev送的5刀不知道能用多久

    #5
  • 唐洛

    确实用不完啊,量大又便宜。

    #6
  • 菟狐

    t佬,jev可以替换为自部署的laya之类的模型嘛

    #7
  • 唐洛

    目前实验性功能,先使用起来看看效果和反馈吧。

    后续转为稳定功能再扩展完善。

    #8
  • 牛就是牛

    感谢大佬,我还一直用的老版,新版好像不能直接升级要折腾数据什么的,想想都头大啊。

    #9
  • RyanVan

    加密功能和 jev 结合,天才!

    #10

发表回复

登录后回复