跳到主内容

托管 LiteLLM 代理

LiteLLM 维护代理，让您可以专注于核心产品。

开始入门​

这处于 Alpha 阶段。安排与我们通话，我们将在 30 分钟内为您提供一个托管代理。

🚨 安排通话

状态: Alpha​

我们的代理已被客户用于生产环境。

查看我们的状态页了解实时可靠性

优势​

  • 无需维护，无需基础架构：我们将维护代理，并部署任何额外的基础架构（例如：用于支出日志的独立服务器），以确保您可以在多个 LLM 项目中进行负载均衡并跟踪支出。
  • 可靠：我们的托管代理经过了每秒 1k 请求的测试，使其在高负载下依然可靠。
  • 安全：LiteLLM 目前正在进行 SOC-2 合规认证，以确保您的数据尽可能安全。

数据隐私与安全​

您可以在此处查看我们的云端 LiteLLM 数据隐私与安全政策

LiteLLM 云支持的数据区域​

您可以在此处找到LiteLLM 支持的数据区域

定价​

定价基于使用量。我们可以在通话中确定适合您团队的价格。

🚨 安排通话

截图​

1. 创建密钥​

2. 添加模型​

3. 跟踪支出​

4. 配置负载均衡​

🚨 安排通话​

功能列表​

  • 轻松添加/删除模型
  • 即使在添加/删除模型时也能保持 100% 正常运行时间
  • 自定义回调 Webhook
  • 带 HTTPS 的您的域名
  • 创建/删除用户 API 密钥的能力
  • 合理的固定月费用