📄️ 路由器 - 负载均衡
LiteLLM 管理
📄️ [BETA] 请求优先级
Beta 功能。仅用于测试。
📄️ 自动路由
LiteLLM 可以根据您定义的规则自动选择最适合请求的模型。
📄️ 代理 - 负载均衡
负载均衡相同模型的多个实例
📄️ UI - 密钥和团队的路由器设置
在密钥和团队级别配置路由器设置，以实现对路由行为、回退、重试和其他路由器配置的精细控制。这使您可以自定义特定密钥或团队的路由行为，而不会影响全局设置。
📄️ 预算路由
LiteLLM 支持设置以下预算
📄️ 回退
如果调用在 num_retries 次尝试后失败，则回退到另一个模型组。
📄️ [新] 回退管理端点
专门用于管理模型回退的端点，与常规配置分开。
📄️ 基于标签的路由
基于标签路由请求。
📄️ 超时
路由器中设置的超时时间是整个调用的长度，并且也会传递到 completion() 调用级别。
📄️ 特定提供商的通配符路由
代理来自某个提供商的所有模型