路由器 - 负载均衡
LiteLLM 管理
[测试版] 自适应路由器
测试版功能。欢迎在 Discord 或 Slack 上分享反馈。
[测试版] 请求优先级排序
测试版功能。仅供测试使用。
自动路由
LiteLLM 可以根据您定义的规则，自动为请求选择最佳模型。
代理 - 负载均衡
对同一模型的多个实例进行负载均衡
UI - 密钥与团队的路由器设置
在密钥和团队级别配置路由器设置，以实现对路由行为、回退、重试及其他路由器配置的精细控制。这使您能够针对特定密钥或团队自定义路由行为，而不会影响全局设置。
预算路由
LiteLLM 支持设置以下预算
回退机制 (Fallbacks)
如果调用在 num_retries 后失败，则回退到另一个模型组。
[新] 回退管理端点
专用于管理模型回退的端点，与常规配置分开处理。
基于标签的路由
根据标签路由请求。
超时
路由器中设置的超时时间适用于整个调用时长，并会向下传递至 completion() 调用级别。
特定于提供商的通配符路由
代理来自同一提供商的所有模型
健康检查驱动的路由
在用户遇到错误之前，将流量从不健康的部署中切走。后台健康检查按可配置的间隔运行，任何失败的部署都会被主动从路由池中移除，而不是在用户请求失败后才处理。