2 篇标记为 "unified_file_id" 的帖子

主要亮点​

• SCIM 集成：使身份提供商（Okta、Azure AD、OneLogin 等）能够自动化用户和团队（组）的配置、更新和注销
• 基于团队和标签的使用情况跟踪：现在，您可以在 100 万条以上的消费日志中按团队和标签查看使用情况和花费。
• 统一响应 API：支持通过 OpenAI 新的响应 API 调用 Anthropic、Gemini、Groq 等。

让我们深入了解。

SCIM 集成​

此版本为 LiteLLM 添加了 SCIM 支持。这使您的 SSO 提供商（Okta、Azure AD 等）能够自动在 LiteLLM 上创建/删除用户、团队和成员资格。这意味着当您在 SSO 提供商中移除一个团队时，您的 SSO 提供商将自动删除 LiteLLM 上对应的团队。

阅读更多

基于团队和标签的使用情况跟踪​

此版本改进了 100 万条以上消费日志中基于团队和标签的使用情况跟踪，从而方便您在生产环境中监控 LLM API 花费。这包括：

• 查看按团队 + 标签划分的每日花费
• 在团队内部查看按密钥划分的使用情况/花费
• 查看按多个标签划分的花费
• 允许内部用户查看其所属团队的花费

阅读更多

统一响应 API​

此版本允许您通过 LiteLLM 上的 POST /v1/responses 端点调用 Azure OpenAI、Anthropic、AWS Bedrock 和 Google Vertex AI 模型。这意味着您现在可以使用 OpenAI Codex 等流行工具结合您自己的模型。

阅读更多

新模型 / 更新模型​

• OpenAI
  1. gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini 定价 - 入门, PR
  2. o4 - 正确映射 o4 到 openai o_series 模型
• Azure AI
  1. Phi-4 输出每 token 成本修正 - PR
  2. 支持 Responses API 入门,PR
• Anthropic
  1. 支持 redacted message thinking - 入门,PR
• Cohere
  1. 支持 /v2/chat Passthrough 端点并进行成本跟踪 - 入门, PR
• Azure
  1. 支持 azure tenant_id/client_id 环境变量 - 入门, PR
  2. 修复 2025+ API 版本的 response_format 检查 - PR
  3. 添加 gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini 定价
• VLLM
  1. 文件 - 支持 VLLM 视频 URL 的 'file' 消息类型 - 入门, PR
  2. Passthrough - 支持新的 /vllm/ passthrough 端点 入门, PR
• Mistral
  1. 支持新的 /mistral passthrough 端点 入门, PR
• AWS
  1. 新的映射 Bedrock 区域 - PR
• VertexAI / Google AI Studio
  1. Gemini - 响应格式 - 通过指定 propertyOrdering 保留 Google Gemini 和 Vertex 的 schema 字段顺序 - 入门, PR
  2. Gemini-2.5-flash - 返回推理内容 Google AI Studio, Vertex AI
  3. Gemini-2.5-flash - 定价 + 模型信息 PR
  4. Passthrough - 新的 /vertex_ai/discovery 路由 - 使 AgentBuilder API 路由可调用 入门, PR
• Fireworks AI
  1. 在 tool_calls 字段中返回工具调用响应（Fireworks 错误地将其作为 json 字符串在 content 中返回） PR
• Triton
  1. 从 /generate 调用中移除固定的 bad_words / stop words - 入门, PR
• 其他
  1. Responses API 支持所有 litellm 提供商（可与 Codex 配合使用） - 入门, PR
  2. 修复流式响应中合并多个工具调用的问题 - 入门, PR

花费跟踪改进​

• 成本控制 - 在提示中注入缓存控制点以降低成本 入门, PR
• 花费标签 - 请求头中的花费标签 - 支持 x-litellm-tags，即使未启用基于标签的路由 入门, PR
• Gemini-2.5-flash - 支持推理 token 的成本计算 PR

管理端点 / UI​

• 用户

  1. 在用户页面显示 created_at 和 updated_at - PR

• 虚拟密钥

  1. 按密钥别名筛选 - https://github.com/BerriAI/litellm/pull/10085

• 用量标签页

  1. 基于团队的用量

     • 新的 LiteLLM_DailyTeamSpend 表用于记录团队汇总用量 - PR

     • 新的基于团队的用量仪表盘 + 新的 /team/daily/activity API - PR

     • 在 /team/daily/activity API 上返回团队别名 - PR

     • 允许内部用户查看其所属团队的花费 - PR

     • 允许按团队查看热门密钥 - PR

  2. 基于标签的用量

     • 新的 LiteLLM_DailyTagSpend 表用于记录基于标签的汇总用量 - PR
     • 仅限 Proxy 管理员访问 - PR
     • 允许按标签查看热门密钥
     • 在 /tag/list API 上返回请求中传递的标签（即动态标签） - PR

  3. 在每日用户、团队、标签表中跟踪提示缓存指标 - PR

  4. 显示按密钥划分的用量（在所有概览、团队和标签用量仪表盘上） - PR

  5. 用新的用量标签页替换旧的用量标签页

• 模型

  1. 使列可调整大小/可隐藏 - PR

• API 演练场

  1. 允许内部用户调用 API 演练场 - PR

• SCIM

  1. 添加 LiteLLM SCIM 集成用于团队和用户管理 - 入门, PR

日志记录 / Guardrail 集成​

• GCS
  1. 修复使用环境变量 GCS_PROJECT_ID 进行 GCS pub sub 日志记录的问题 - 入门, PR
• AIM
  1. 在 pre 和 post-hooks 调用中，将 litellm 调用 ID 传递给 Aim Guardrails - 入门, PR
• Azure Blob 存储
  1. 确保在高吞吐量场景下日志记录正常工作 - 入门, PR

通用代理改进​

• 支持通过环境变量设置 litellm.modify_params PR
• 模型发现 - 调用代理的 /v1/models 端点时，检查提供商的 /models 端点 - 入门, PR
• /utils/token_counter - 修复检索数据库模型的自定义分词器问题 - 入门, PR
• Prisma migrate - 处理数据库表中已存在的列 - PR

部署此版本​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.66.0-stable

pip install litellm==1.66.0.post1

v1.66.0-stable 现已上线，以下是此版本的主要亮点

主要亮点​

• 实时 API 成本跟踪：跟踪实时 API 调用的成本
• Microsoft SSO 自动同步：将组和组成员从 Azure Entra ID 自动同步到 LiteLLM
• xAI grok-3：新增对 xai/grok-3 模型的支持
• 安全修复：修复了 CVE-2025-0330 和 CVE-2024-6825 漏洞

让我们深入了解。

实时 API 成本跟踪​

此版本新增了实时 API 日志记录 + 成本跟踪。

• 日志记录：LiteLLM 现在将实时调用的完整响应记录到所有日志集成（数据库、S3、Langfuse 等）。
• 成本跟踪：您现在可以为实时模型设置 'base_model' 和自定义定价。 自定义定价
• 预算：您的密钥/用户/团队预算现在也适用于实时模型。

从这里开始

Microsoft SSO 自动同步​

从 Azure Entra ID 自动同步组和成员到 LiteLLM

此版本新增了将 Microsoft Entra ID 上的组和成员与 LiteLLM 自动同步的支持。这意味着 LiteLLM 代理管理员可以减少管理团队和成员的时间，LiteLLM 会处理以下事项：

• 自动创建 Microsoft Entra ID 上存在的团队
• 将 Microsoft Entra ID 上的团队成员与 LiteLLM 团队同步

从这里开始使用

新模型 / 更新模型​

• xAI

  1. 添加了对 xai/grok-3-mini-beta 的 reasoning_effort 支持 入门
  2. 添加了对 xai/grok-3 模型的成本跟踪 PR

• Hugging Face

  1. 添加了推理提供商支持 入门

• Azure

  1. 添加了 azure/gpt-4o-realtime-audio 成本跟踪 PR

• VertexAI

  1. 添加了 enterpriseWebSearch 工具支持 入门
  2. 改为仅传递 Vertex AI 响应 schema 接受的密钥 PR

• Google AI Studio

  1. 添加了对 gemini-2.5-pro 的成本跟踪 PR
  2. 修复了 'gemini/gemini-2.5-pro-preview-03-25' 的定价问题 PR
  3. 修复了处理传入的 file_data 的问题 PR

• Azure

  1. 更新了 Azure Phi-4 定价 PR
  2. 添加了 azure/gpt-4o-realtime-audio 成本跟踪 PR

• Databricks

  1. 从参数中移除了 reasoning_effort PR
  2. 修复了 Databricks 的自定义端点检查问题 PR

• 通用

  1. 添加了 litellm.supports_reasoning() 工具函数来跟踪 LLM 是否支持推理 入门
  2. 函数调用 - 处理消息工具调用中的 pydantic base model，处理 tools = []，并支持 meta.llama3-3-70b-instruct-v1:0 的工具调用伪流式传输 PR
  3. LiteLLM 代理 - 允许通过客户端 SDK 将 thinking 参数传递给 litellm 代理 PR
  4. 修复了 litellm 正确转换 'thinking' 参数的问题 PR

花费跟踪改进​

• OpenAI, Azure
  1. 实时 API 成本跟踪，并在消费日志中包含 token 用量指标 入门
• Anthropic
  1. 修复了 Claude Haiku 缓存读取的每 token 定价问题 PR
  2. 添加了对带有 base_model 的 Claude 响应的成本跟踪 PR
  3. 修复了 Anthropic 提示缓存成本计算问题，并在数据库中修剪了日志消息 PR
• 通用
  1. 在消费日志中添加了 token 跟踪和日志用量对象 PR
  2. 在部署级别处理自定义定价 PR

管理端点 / UI​

• 测试密钥标签页

  1. 在测试密钥页面添加了推理内容、ttft、用量指标的渲染 PR

     查看输入、输出、推理 token、ttft 指标。

• 标签 / 策略管理

  1. 添加了标签/策略管理。基于请求元数据创建路由规则。这使您可以强制带有 tags="private" 的请求仅路由到特定模型。 入门

     
     

     创建和管理标签。

• 重新设计的登录屏幕

  1. 优化了登录屏幕 PR

• Microsoft SSO 自动同步

  1. 添加了调试路由，允许管理员调试 SSO JWT 字段 PR
  2. 添加了使用 MSFT Graph API 将用户分配到团队的功能 PR
  3. 将 litellm 连接到 Azure Entra ID Enterprise Application PR
  4. 添加了允许管理员为 litellm SSO 创建默认团队时设置 default_team_params 的功能 PR
  5. 修复了 MSFT SSO 使用正确的用户电子邮件字段的问题 PR
  6. 添加了 UI 支持，用于在 litellm SSO 自动创建团队时设置默认团队设置 PR

• UI Bug 修复

  1. 阻止团队、密钥、组织、模型数值在滚动时改变 PR
  2. 在 UI 中即时反映密钥和团队更新 PR

日志记录 / Guardrail 改进​

• Prometheus
  1. 按 cron 作业计划发出密钥和团队预算指标 入门

安全修复​

• 修复了 CVE-2025-0330 - 团队异常处理中 Langfuse API 密钥泄露的问题 PR
• 修复了 CVE-2024-6825 - 后调用规则中的远程代码执行漏洞 PR

Helm​

• 为 litellm-helm chart 添加了服务注解 PR
• 为 helm 部署添加了 extraEnvVars PR

演示​

立即在演示实例上尝试

完整的 Git Diff​

查看自 v1.65.4-stable 以来的完整 Git Diff，此处