希望管理员或句具有权限的用户可以在访问时指定分组进行负载均衡
Brought to you by:
xjfkkk
Originally created by: maxadc
例行检查
功能描述
我看了一下,我觉得 Authorization: Bearer ONE_API_KEY-CHANNEL_ID 如果可以指定分组的话。就从该分组进行负载均衡就可以满足需求了。如果可以,可以考虑允许传多个分组,在多个分组中随机选取。
这样使用比较方便,适合复杂场景。
应用场景
我有多个模型,发现有的模型对某个任务响应不是太友好。大概率 某任务 A组模型完成效果更好。
B任务,B组模型效果更好,这个时候,也是需要负载均衡的。
而目前没有这个功能。如果是多个用户+多个分组来解决,那何必用 oen-api,我自己写一个简单的代码来管理不更简单?