部署此版本​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.67.4-stable

pip install litellm==1.67.4.post1

主要亮点​

• 改进的用户管理：此版本支持跨用户、密钥、团队和模型进行搜索和过滤。
• Responses API 负载均衡：将请求路由到不同提供商区域并确保会话连续性。
• UI 会话日志：将发送到 LiteLLM 的多个请求分组为一个会话。

改进的用户管理​

此版本使 LiteLLM 上的用户和密钥管理更加便捷。您现在可以跨用户、密钥、团队和模型进行搜索和过滤，并且更容易控制用户设置。

新功能包括

• 按电子邮件、ID、角色或团队搜索用户。
• 在一个地方查看用户的所有模型、团队和密钥。
• 直接在用户标签页更改用户角色和模型访问权限。

这些更改帮助您减少在 LiteLLM 上进行用户设置和管理的时间。

Responses API 负载均衡​

此版本为 Responses API 引入了负载均衡，允许您将请求路由到不同提供商区域并确保会话连续性。其工作方式如下

• 如果提供了 previous_response_id，LiteLLM 将把请求路由到生成先前响应的原始部署 — 确保会话连续性。
• 如果没有提供 previous_response_id，LiteLLM 将在您可用的部署之间进行请求的负载均衡。

阅读更多

UI 会话日志​

此版本允许您将发送到 LiteLLM 代理的请求分组到一个会话中。如果您在请求中指定 litellm_session_id，LiteLLM 将自动将同一会话中的所有日志分组。这使您可以轻松地按会话跟踪使用情况和请求内容。

阅读更多

新模型 / 更新的模型​

• OpenAI
  1. 添加了 gpt-image-1 成本跟踪 入门
  2. 错误修复：添加了 gpt-image-1 在未指定质量时的成本跟踪 PR
• Azure
  1. 修复了 Azure 中 whisper 传递时间戳粒度的问题 入门
  2. 添加了 azure/gpt-image-1 定价 入门, PR
  3. 添加了 azure/computer-use-preview、azure/gpt-4o-audio-preview-2024-12-17、azure/gpt-4o-mini-audio-preview-2024-12-17 的成本跟踪 PR
• Bedrock
  1. 添加了 model="arn:.." 时（Bedrock 应用推理配置模型）对所有兼容 Bedrock 参数的支持 入门, PR
  2. 修复了错误的系统提示转换 PR
• VertexAI / Google AI Studio
  1. 允许为 gemini-2.5-flash 设置 budget_tokens=0 入门,PR
  2. 确保返回的 usage 包含思考 token 使用量 PR
  3. 添加了 gemini-2.5-pro-preview-03-25 的成本跟踪 PR
• Cohere
  1. 添加了对 cohere command-a-03-2025 的支持 入门, PR
• SageMaker
  1. 添加了对 max_completion_tokens 参数的支持 入门, PR
• Responses API
  1. 添加了对 GET 和 DELETE 操作的支持 - /v1/responses/{response_id} 入门
  2. 添加了对非 OpenAI 模型的会话管理支持 PR
  3. 添加了路由亲和性以在会话中保持模型一致性 入门, PR

支出跟踪改进​

• 错误修复：修复了支出跟踪错误，确保默认 litellm 参数不在内存中被修改 PR
• 弃用日期：添加了 Azure、VertexAI 模型的弃用日期 PR

管理端点 / UI​

用户​

• 过滤和搜索:

  • 按 user_id、角色、团队、sso_id 过滤用户
  • 按电子邮件搜索用户
  
  

• 用户信息面板：添加了新的用户信息面板 PR

  • 查看与用户关联的团队、密钥、模型
  • 编辑用户角色、模型权限

团队​

• 过滤和搜索:

  • 按组织、团队 ID 过滤团队 PR
  • 按团队名称搜索团队 PR
  
  

密钥​

• 密钥管理:
  • 支持交叉过滤和按密钥哈希过滤 PR
  • 修复了重置过滤器时密钥别名重置的问题 PR
  • 修复了创建密钥时表格渲染的问题 PR

UI 日志页面​

• 会话日志：添加了 UI 会话日志 入门

UI 身份验证与安全​

• 必需的身份验证：所有仪表板页面现在都需要身份验证 PR
• SSO 修复：修复了 SSO 用户登录无效 token 错误 PR
• [BETA] 加密 Token：UI 迁移到使用加密 token PR
• Token 过期：通过重定向到登录页面支持 token 刷新（修复了过期 token 会显示空白页面的问题） PR

UI 一般修复​

• 修复了 UI 闪烁：解决了仪表板中的 UI 闪烁问题 PR
• 改进的术语：密钥和工具页面上更好的加载和无数据状态 PR
• Azure 模型支持：修复了编辑 Azure 公共模型名称以及创建后更改模型名称的问题 PR
• 团队模型选择器：修复了团队模型选择的错误 PR

日志记录 / Guardrail 集成​

• Datadog:
  1. 修复了 Datadog LLM 可观测性日志记录 入门, PR
• Prometheus / Grafana:
  1. 在 LiteLLM Grafana 模板上启用数据源选择 入门, PR
• AgentOps:
  1. 添加了 AgentOps 集成 入门, PR
• Arize:
  1. 为 Arize 和 Phoenix 集成添加了缺失的属性 入门, PR

通用代理改进​

• 缓存：修复了在计算缓存密钥时考虑 thinking 或 reasoning_effort 的缓存问题 PR
• 模型组：修复了用户在 model_info 内设置 model_group 的情况的处理问题 PR
• 透传端点：确保使用方法、URL、请求/响应体记录 PassthroughStandardLoggingPayload PR
• 修复 SQL 注入：修复了 spend_management_endpoints.py 中潜在的 SQL 注入漏洞 PR

Helm​

• 修复了迁移作业中的 serviceAccountName 问题 PR

完整更新日志​

完整的更改列表可在 GitHub 发布说明中找到。

主要亮点​

• SCIM 集成：使身份提供商（Okta、Azure AD、OneLogin 等）能够自动化用户和团队（组）的配置、更新和撤销
• 基于团队和标签的使用量跟踪：您现在可以在 100 万条以上的支出日志中按团队和标签查看使用量和支出。
• 统一的 Responses API：支持通过 OpenAI 的新 Responses API 调用 Anthropic、Gemini、Groq 等模型。

让我们深入了解。

SCIM 集成​

此版本为 LiteLLM 添加了 SCIM 支持。这允许您的 SSO 提供商（Okta、Azure AD 等）在 LiteLLM 上自动创建/删除用户、团队和成员资格。这意味着当您在 SSO 提供商上移除一个团队时，您的 SSO 提供商将自动删除 LiteLLM 上对应的团队。

阅读更多

基于团队和标签的使用量跟踪​

此版本改进了在 100 万条以上支出日志中的基于团队和标签的使用量跟踪，使得在生产环境中监控您的 LLM API 支出变得容易。这包括

• 按团队 + 标签查看每日支出
• 在团队内按密钥查看使用量 / 支出
• 按多个标签查看支出
• 允许内部用户查看其所属团队的支出

阅读更多

统一的 Responses API​

此版本允许您通过 LiteLLM 的 POST /v1/responses 端点调用 Azure OpenAI、Anthropic、AWS Bedrock 和 Google Vertex AI 模型。这意味着您现在可以使用像 OpenAI Codex 这样的流行工具来配合您自己的模型。

阅读更多

新模型 / 更新的模型​

• OpenAI
  1. gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini 定价 - 入门, PR
  2. o4 - 正确地将 o4 映射到 openai o_series 模型
• Azure AI
  1. Phi-4 每 token 输出成本修复 - PR
  2. Responses API 支持 入门,PR
• Anthropic
  1. 编辑消息思考支持 - 入门,PR
• Cohere
  1. /v2/chat 透传端点支持并带有成本跟踪 - 入门, PR
• Azure
  1. 支持 azure tenant_id/client_id 环境变量 - 入门, PR
  2. 修复 2025 年及更高版本 API 的 response_format 检查问题 - PR
  3. 添加 gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini 定价
• VLLM
  1. 文件 - 支持 VLLM 视频 URL 的 'file' 消息类型 - 入门, PR
  2. 透传 - 新增 /vllm/ 透传端点支持 入门, PR
• Mistral
  1. 新增 /mistral 透传端点支持 入门, PR
• AWS
  1. 新映射的 bedrock 区域 - PR
• VertexAI / Google AI Studio
  1. Gemini - 响应格式 - 通过指定 propertyOrdering 保留 Google Gemini 和 Vertex 的 schema 字段顺序 - 入门, PR
  2. Gemini-2.5-flash - 返回推理内容 Google AI Studio, Vertex AI
  3. Gemini-2.5-flash - 定价 + 模型信息 PR
  4. 透传 - 新增 /vertex_ai/discovery 路由 - 支持调用 AgentBuilder API 路由 入门, PR
• Fireworks AI
  1. 在 tool_calls 字段中返回工具调用响应（fireworks 错误地将其作为 content 中的 json 字符串返回） PR
• Triton
  1. 移除 /generate 调用中固定的 bad_words / stop words 移除 - 入门, PR
• 其他
  1. Responses API 支持所有 litellm 提供商（适用于 Codex） - 入门, PR
  2. 修复流式响应中合并多个工具调用的问题 - 入门, PR

支出跟踪改进​

• 成本控制 - 在 prompt 中注入缓存控制点以降低成本 入门, PR
• 支出标签 - header 中的支出标签 - 即使未启用基于标签的路由也支持 x-litellm-tags 入门, PR
• Gemini-2.5-flash - 支持推理 token 的成本计算 PR

管理端点 / UI​

• 用户

  1. 在用户页面显示 created_at 和 updated_at - PR

• 虚拟密钥

  1. 按密钥别名过滤 - https://github.com/BerriAI/litellm/pull/10085

• 使用量标签页

  1. 基于团队的使用量

     • 用于聚合团队使用量日志记录的新 LiteLLM_DailyTeamSpend 表 - PR

     • 新增团队使用量仪表板 + 新增 /team/daily/activity API - PR

     • 在 /team/daily/activity API 上返回团队别名 - PR

     • 允许内部用户查看其所属团队的支出 - PR

     • 允许按团队查看顶级密钥 - PR

  2. 基于标签的使用量

     • 用于聚合基于标签的使用量日志记录的新 LiteLLM_DailyTagSpend 表 - PR
     • 仅限于代理管理员 - PR
     • 允许按标签查看顶级密钥
     • 在 /tag/list API 上返回请求中传递的标签（即动态标签） - PR

  3. 在每日用户、团队、标签表中跟踪 prompt 缓存指标 - PR

  4. 按密钥显示使用量（在所有整体、团队和标签使用量仪表板上） - PR

  5. 用新的使用量标签页替换旧的使用量标签页

• 模型

  1. 使列可调整大小/隐藏 - PR

• API Playground

  1. 允许内部用户调用 api playground - PR

• SCIM

  1. 为团队和用户管理添加 LiteLLM SCIM 集成 - 入门, PR

日志记录 / Guardrail 集成​

• GCS
  1. 修复使用环境变量 GCS_PROJECT_ID 进行 GCS pub/sub 日志记录的问题 - 入门, PR
• AIM
  1. 在 pre 和 post-hooks 调用中添加 litellm 调用 ID 传递到 Aim guardrails - 入门, PR
• Azure blob 存储
  1. 确保在高速吞吐场景下日志记录正常工作 - 入门, PR

通用代理改进​

• 支持通过环境变量设置 litellm.modify_params PR
• 模型发现 - 调用代理的 /v1/models 端点时检查提供商的 /models 端点 - 入门, PR
• /utils/token_counter - 修复数据库模型检索自定义 tokenizer 的问题 - 入门, PR
• Prisma migrate - 处理数据库表中的现有列 - PR

部署此版本​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.66.0-stable

pip install litellm==1.66.0.post1

v1.66.0-stable 现已上线，以下是此版本的主要亮点

主要亮点​

• 实时 API 成本跟踪：跟踪实时 API 调用的成本
• Microsoft SSO 自动同步：将组和组成员从 Azure Entra ID 自动同步到 LiteLLM
• xAI grok-3：添加了对 xai/grok-3 模型支持
• 安全修复：修复了 CVE-2025-0330 和 CVE-2024-6825 漏洞

让我们深入了解。

实时 API 成本跟踪​

此版本添加了实时 API 日志记录 + 成本跟踪。

• 日志记录：LiteLLM 现在将实时调用的完整响应记录到所有日志集成（数据库、S3、Langfuse 等）中
• 成本跟踪：您现在可以为实时模型设置 'base_model' 和自定义定价。自定义定价
• 预算：您的密钥/用户/团队预算现在也适用于实时模型。

从这里开始

Microsoft SSO 自动同步​

将组和成员从 Azure Entra ID 自动同步到 LiteLLM

此版本添加了将 Microsoft Entra ID 上的组和成员与 LiteLLM 自动同步的支持。这意味着 LiteLLM 代理管理员可以花费更少的时间来管理团队和成员，并且 LiteLLM 处理以下事项

• 自动创建 Microsoft Entra ID 上存在的团队
• 将 Microsoft Entra ID 上的团队成员与 LiteLLM 团队同步

从这里开始使用

新模型 / 更新的模型​

• xAI

  1. 添加了对 xai/grok-3-mini-beta 的 reasoning_effort 支持 入门
  2. 添加了对 xai/grok-3 模型的成本跟踪 PR

• Hugging Face

  1. 添加了推理提供商支持 入门

• Azure

  1. 添加了 azure/gpt-4o-realtime-audio 成本跟踪 PR

• VertexAI

  1. 添加了 enterpriseWebSearch 工具支持 入门
  2. 更改为仅传递 Vertex AI 响应 schema 接受的密钥 PR

• Google AI Studio

  1. 添加了对 gemini-2.5-pro 的成本跟踪 PR
  2. 修复了 'gemini/gemini-2.5-pro-preview-03-25' 的定价问题 PR
  3. 修复了处理传入 file_data 的问题 PR

• Azure

  1. 更新了 Azure Phi-4 定价 PR
  2. 添加了 azure/gpt-4o-realtime-audio 成本跟踪 PR

• Databricks

  1. 从参数中移除了 reasoning_effort PR
  2. 修复了 Databricks 的自定义端点检查问题 PR

• 通用

  1. 添加了 litellm.supports_reasoning() 工具函数来跟踪 LLM 是否支持推理 入门
  2. 函数调用 - 在消息工具调用中处理 pydantic 基础模型，处理 tools = []，并支持 meta.llama3-3-70b-instruct-v1:0 的工具调用假流式传输 PR
  3. LiteLLM 代理 - 允许通过客户端 SDK 将 thinking 参数传递给 litellm 代理 PR
  4. 修复了为 litellm 正确翻译 'thinking' 参数的问题 PR

支出跟踪改进​

• OpenAI, Azure
  1. 实时 API 成本跟踪并在支出日志中包含 token 使用量指标 入门
• Anthropic
  1. 修复了 Claude Haiku 缓存读取每 token 定价问题 PR
  2. 添加了带有 base_model 的 Claude 响应的成本跟踪 PR
  3. 修复了 Anthropic prompt 缓存成本计算并在数据库中修剪了日志消息 PR
• 通用
  1. 在支出日志中添加了 token 跟踪和日志使用量对象 PR
  2. 在部署级别处理自定义定价 PR

管理端点 / UI​

• 测试密钥标签页

  1. 在测试密钥页面添加了 Reasoning 内容、ttft、使用量指标的渲染 PR

     查看输入、输出、推理 token、ttft 指标。

• 标签 / 策略管理

  1. 添加了标签/策略管理。基于请求元数据创建路由规则。这允许您强制带有 tags="private" 的请求仅发送到特定模型。入门

     
     

     创建和管理标签。

• 重新设计的登录屏幕

  1. 优化了登录屏幕 PR

• Microsoft SSO 自动同步

  1. 添加了调试路由以允许管理员调试 SSO JWT 字段 PR
  2. 添加了使用 MSFT Graph API 将用户分配到团队的功能 PR
  3. 将 litellm 连接到 Azure Entra ID 企业应用程序 PR
  4. 添加了管理员为 litellm SSO 创建默认团队时设置 default_team_params 的功能 PR
  5. 修复了 MSFT SSO 使用正确的用户电子邮件字段的问题 PR
  6. 添加了当 litellm SSO 自动创建团队时设置默认团队设置的 UI 支持 PR

• UI 错误修复

  1. 防止团队、密钥、组织、模型数值在滚动时发生变化 PR
  2. 在 UI 中即时反映密钥和团队更新 PR

日志记录 / Guardrail 改进​

• Prometheus
  1. 按 cron 作业计划发送密钥和团队预算指标 入门

安全修复​

• 修复了 CVE-2025-0330 - Langfuse API 密钥在团队异常处理中泄露的问题 PR
• 修复了 CVE-2024-6825 - post call rules 中的远程代码执行问题 PR

Helm​

• 为 litellm-helm chart 添加了服务注解 PR
• 为 helm 部署添加了 extraEnvVars PR

演示​

今天在演示实例上试试看

完整 Git Diff​

在此处查看自 v1.65.4-stable 以来的完整 git diff，此处

docker image, security, vulnerability

0 个严重/高危漏洞

有什么变化？​

• LiteLLMBase 镜像现在使用 cgr.dev/chainguard/python:latest-dev

为什么改变？​

为确保 LiteLLM Docker 镜像没有严重/高危漏洞

迁移指南​

• 如果您使用自定义 dockerfile 并以 litellm 作为基础镜像 + apt-get

请改用 apk 而不是 apt-get，基础 litellm 镜像将不再安装 apt-get。

只有当您在 Dockerfile 中使用 apt-get 时才会受到影响

# Use the provided base image
FROM ghcr.io/berriai/litellm:main-latest

# Set the working directory
WORKDIR /app

# Install dependencies - CHANGE THIS to `apk`
RUN apt-get update && apt-get install -y dumb-init 

变更前

RUN apt-get update && apt-get install -y dumb-init

变更后

RUN apk update && apk add --no-cache dumb-init