📄️ 路由器 - 负载均衡
LiteLLM 管理
📄️ [测试版] 请求优先级排序
测试版功能。仅用于测试。
📄️ 代理 - 负载均衡
对同一模型的多个实例进行负载均衡
📄️ 回退
如果调用在num_retries次后仍失败，则回退到另一个模型组。
📄️ 超时
路由器中设置的超时时间是针对整个调用过程的，也会传递到completion()调用级别。
📄️ 基于标签的路由
基于标签路由请求。
📄️ 预算路由
LiteLLM 支持设置以下预算：
📄️ 特定提供商的通配符路由
代理来自某个提供商的所有模型