开源大模型网关求推荐

主要场景

私有化大模型产品，用的大模型也是私有化部署

对网关的基础功能需求：

- 模型的负载均衡

- 模型切换时能够平滑切换

- 管理模型的 APIKEY

- LLM ，embedding ，rerank 都支持

- 各种模型的各种来源的使用统计

加分项：

- 比较轻量，资源占用少

- 负载均衡的时候能够兼顾 KV cache

- 能够做提示词的审计或者黑名单

- 能够区分提示词的业务（比如通过关键词），针对业务进行统计

看到有不少做大模型网关的，我没具体用过

求助有用过的推荐推荐