跳到主要内容

为何选择直通端点?

这些端点适用于以下 2 种场景

  1. 将现有项目迁移到 litellm 代理。例如:如果您的用户已经在生产环境中使用 Anthropic 的 SDK,您只需更改基础 URL 即可获得成本跟踪/日志记录/预算等功能。
  1. 使用特定于提供商的端点。例如:如果您想使用 Vertex AI 的 token 计数端点

您的请求是如何处理的?

请求被直通到提供商的端点。然后将响应传回给客户端。不进行任何翻译。