跳至主要内容

v1.69.0-stable - 负载均衡批量 API 模型

Krrish Dholakia
Ishaan Jaffer

部署此版本​

docker run litellm
docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.69.0-stable

主要亮点​

LiteLLM v1.69.0-stable 带来了以下主要改进

  • 负载均衡批量 API 模型：使用 LiteLLM 受管文件轻松地在多个 Azure 批量部署之间进行负载均衡
  • 电子邮件邀请 2.0：向新加入 LiteLLM 的用户发送电子邮件邀请。
  • Nscale：符合欧洲法规的 LLM API。
  • Bedrock /v1/messages：使用 Bedrock Anthropic 模型以及 Anthropic 的 /v1/messages 格式。

批量 API 负载均衡​

此版本为批量处理带来了 LiteLLM 受管文件支持。这对于以下用户非常有用：

  • 代理管理员：您现在可以控制用户可以调用哪些批量模型。
  • 开发者：创建批量 .jsonl 文件时不再需要知道 Azure 部署名称 - 只需指定您的 LiteLLM 密钥有权访问的模型即可。

随着时间推移，我们预计 LiteLLM 受管文件将成为大多数团队在使用 /chat/completions、/batch、/fine_tuning 端点时使用文件的方式。

在此阅读更多内容

电子邮件邀请​

此版本为我们的电子邮件邀请集成带来了以下改进：

  • 用于用户被邀请和密钥创建事件的新模板。
  • 修复了使用 SMTP 电子邮件提供商的问题。
  • 原生支持 Resend API。
  • 代理管理员控制电子邮件事件的能力。

LiteLLM 云用户，如果您希望为您的实例启用此功能，请联系我们。

在此阅读更多内容

新模型 / 更新模型​

  • Gemini (VertexAI + Google AI Studio)
    • 添加了包含定价和上下文窗口信息的 gemini-2.5-pro-preview-05-06 模型 - PR
    • 为所有 Gemini 2.5 变体设置正确的上下文窗口长度 - PR
  • Perplexity:
    • 添加了新的 Perplexity 模型 - PR
    • 添加了 sonar-deep-research 模型的定价 - PR
  • Azure OpenAI:
    • 修复了 azure_ad_token_provider 参数的透传问题 - PR
  • OpenAI:
    • 在 'file' 参数中添加了对 PDF URL 的支持 - PR
  • Sagemaker:
    • 修复了 sagemaker_chat 提供商的内容长度问题 - PR
  • Azure AI Foundry:
    • 添加了以下模型的成本追踪PR
      • DeepSeek V3 0324
      • Llama 4 Scout
      • Llama 4 Maverick
  • Bedrock:
    • 添加了 Bedrock Llama 4 模型的成本追踪 - PR
    • 修复了 Bedrock 中 Llama 4 模型的模板转换问题 - PR
    • 添加了使用 /v1/messages 格式支持 Bedrock Anthropic 模型 - PR
    • 添加了使用 /v1/messages 格式支持 Bedrock Anthropic 模型的流式传输 - PR
  • OpenAI：为 o3 模型添加了 reasoning_effort 支持 - PR
  • Databricks:
    • 修复了 Databricks 使用外部模型时 delta 可能为空的问题 - PR
  • Cerebras：修复了 Llama-3.1-70b 模型的定价和上下文窗口问题 - PR
  • Ollama:
    • 修复了自定义价格成本追踪问题，并添加了 'max_completion_token' 支持 - PR
    • 修复了使用 JSON 响应格式时 KeyError 的问题 - PR
  • 🆕 Nscale
    • 添加了对聊天和图像生成端点的支持 - PR

LLM API 端点​

  • Messages API:
    • 🆕 添加了使用 /v1/messages 格式支持 Bedrock Anthropic 模型 - PR 和流式传输支持 - PR
  • Moderations API:
    • 修复了允许使用 LiteLLM UI 凭据访问 /moderations API 的错误 - PR
  • Realtime API:
    • 修复了 WebSocket 认证请求中作用域内设置 'headers' 以及无限循环问题 - PR
  • Files API:
    • 统一文件 ID 输出支持 - PR
    • 支持将文件写入所有部署 - PR
    • 添加了目标模型名称验证 - PR
  • Batches API:
    • 完整的统一批量 ID 支持 - 将 jsonl 中的模型替换为部署模型名称 - PR
    • 批量统一文件 ID（受管文件）的 Beta 支持 - PR

消费追踪 / 预算改进​

  • 错误修复 - PostgreSQL 数据库消费追踪中的整数溢出错误 - PR

管理端点 / UI​

  • 模型
    • 修复了在 UI 上编辑模型时模型信息被覆盖的问题 - PR
    • 修复了团队管理员模型更新以及使用特定模型创建组织的问题 - PR
  • 日志:
    • 错误修复 - 在日志页面上复制请求/响应的问题 - PR
    • 错误修复 - 日志在 QA 日志页面上未保持聚焦以及错误日志文本溢出的问题 - PR
    • 为 LiteLLM_SpendLogs 上的 session_id 添加了索引以提高查询性能 - PR
  • 用户管理:
    • 为 Python 客户端库和 CLI 添加了用户管理功能 - PR
    • 错误修复 - 修复了管理员 UI 上 SCIM 令牌创建的问题 - PR
    • 错误修复 - 在尝试删除不存在的验证令牌时添加了 404 响应 - PR

日志记录 / 护栏集成​

  • 自定义日志记录 API：v2 自定义回调 API（将 llm 日志发送到自定义 api）- PR, 开始使用
  • OpenTelemetry:
    • 修复了 OpenTelemetry 以遵循 genai 语义约定 + 支持 TTS 的 'instructions' 参数 - PR
  • Bedrock PII:
    • 添加了使用 bedrock 护栏进行 PII 屏蔽的支持 - 开始使用, PR
  • 文档:
    • 添加了 StandardLoggingVectorStoreRequest 的文档 - PR

性能 / 可靠性改进​

  • Python 兼容性:
    • 添加了对 Python 3.11- 的支持（修复了日期时间 UTC 处理）- PR
    • 修复了在 Windows 上导入 litellm 时出现 UnicodeDecodeError: 'charmap' 的问题 - PR
  • 缓存:
    • 修复了嵌入字符串缓存结果的问题 - PR
    • 修复了使用 response_format 的 Gemini 模型的缓存未命中问题 - PR

通用代理改进​

  • 代理 CLI:
    • 为 litellm-proxy CLI 添加了 --version 标志 - PR
    • 添加了专用的 litellm-proxy CLI - PR
  • 警报:
    • 修复了使用数据库时 Slack 警报不工作的问题 - PR
  • 电子邮件邀请:
    • 添加了 V2 电子邮件，修复了创建密钥时发送电子邮件的问题 + 支持 Resend API - PR
    • 添加了用户邀请电子邮件 - PR
    • 添加了用于管理电子邮件设置的端点 - PR
  • 通用:
    • 修复了重复 JSON 日志被发送的错误 - PR

新贡献者​