跳到主内容

v1.66.0-stable - 实时 API 成本跟踪

Krrish Dholakia
Ishaan Jaffer

部署此版本​

docker run litellm
docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.66.0-stable

v1.66.0-stable 现已上线，以下是本次发布的重点内容

重点内容​

  • 实时 API 成本跟踪: 跟踪实时 API 调用的成本
  • Microsoft SSO 自动同步: 从 Azure Entra ID 自动同步组和组成员到 LiteLLM
  • xAI grok-3: 添加了对 xai/grok-3 模型的支持
  • 安全修复: 修复了 CVE-2025-0330 和 CVE-2024-6825 漏洞

让我们深入了解。

实时 API 成本跟踪​

本次发布增加了实时 API 日志记录 + 成本跟踪。

  • 日志记录: LiteLLM 现在将实时调用的完整响应记录到所有日志集成（DB, S3, Langfuse 等）中
  • 成本跟踪: 您现在可以为实时模型设置 'base_model' 和自定义价格。 自定义价格
  • 预算: 您的密钥/用户/团队预算现在也适用于实时模型。

从 这里 开始

Microsoft SSO 自动同步​

从 Azure Entra ID 自动同步组和成员到 LiteLLM

本次发布增加了对 Microsoft Entra ID 上的组和成员与 LiteLLM 自动同步的支持。这意味着 LiteLLM 代理管理员可以花更少的时间管理团队和成员，LiteLLM 处理以下事项

  • 自动创建 Microsoft Entra ID 上已存在的团队
  • 将 Microsoft Entra ID 上的团队成员与 LiteLLM 团队同步

从 这里 开始

新模型 / 更新模型​

  • xAI

    1. 为 xai/grok-3-mini-beta 添加了 reasoning_effort 支持 开始使用
    2. 为 xai/grok-3 模型添加了成本跟踪 PR

  • Hugging Face

    1. 添加了推理提供商支持 开始使用

  • Azure

    1. 添加了 azure/gpt-4o-realtime-audio 成本跟踪 PR

  • VertexAI

    1. 添加了 enterpriseWebSearch 工具支持 开始使用
    2. 更改为仅传递 Vertex AI 响应模式接受的密钥 PR

  • Google AI Studio

    1. 为 gemini-2.5-pro 添加了成本跟踪 PR
    2. 修复了 'gemini/gemini-2.5-pro-preview-03-25' 的价格 PR
    3. 修复了传入 file_data 的处理问题 PR

  • Azure

    1. 更新了 Azure Phi-4 定价 PR
    2. 添加了 azure/gpt-4o-realtime-audio 成本跟踪 PR

  • Databricks

    1. 从参数中移除了 reasoning_effort PR
    2. 修复了 Databricks 的自定义端点检查 PR

  • 通用

    1. 添加了 litellm.supports_reasoning() 工具函数，用于跟踪 LLM 是否支持推理 开始使用
    2. 函数调用 - 在消息工具调用中处理 pydantic 基础模型，处理 tools = []，并支持 meta.llama3-3-70b-instruct-v1:0 的工具调用的伪流式传输 PR
    3. LiteLLM 代理 - 允许通过客户端 SDK 将 thinking 参数传递给 LiteLLM 代理 PR
    4. 修复了正确翻译 LiteLLM 的 'thinking' 参数的问题 PR

消费跟踪改进​

  • OpenAI, Azure
    1. 实时 API 成本跟踪，并在消费日志中包含 token 使用指标 开始使用
  • Anthropic
    1. 修复了 Claude Haiku 缓存读取的每 token 定价 PR
    2. 为带有 base_model 的 Claude 响应添加了成本跟踪 PR
    3. 修复了 Anthropic prompt 缓存的成本计算，并修剪了数据库中的日志消息 PR
  • 通用
    1. 在消费日志中添加了 token 跟踪和日志使用对象 PR
    2. 在部署级别处理自定义价格 PR

管理端点 / UI​

  • 测试密钥选项卡

    1. 在测试密钥页面上添加了推理内容、ttft、使用指标的渲染 PR

      查看输入、输出、推理 token、ttft 指标。

  • 标签 / 策略管理

    1. 添加了标签/策略管理。根据请求元数据创建路由规则。这允许您强制带有 tags="private" 的请求仅发送到特定模型。 开始使用


      创建和管理标签。

  • 重新设计的登录屏幕

    1. 优化了登录屏幕 PR

  • Microsoft SSO 自动同步

    1. 添加了调试路由，允许管理员调试 SSO JWT 字段 PR
    2. 添加了使用 MSFT Graph API 将用户分配到团队的功能 PR
    3. 将 LiteLLM 连接到 Azure Entra ID 企业应用 PR
    4. 添加了管理员设置 default_team_params 的功能，用于 LiteLLM SSO 创建默认团队时使用 PR
    5. 修复了 MSFT SSO 使用用户电子邮件的正确字段的问题 PR
    6. 添加了 UI 支持，用于设置 LiteLLM SSO 自动创建团队时的默认团队设置 PR

  • UI Bug 修复

    1. 防止在滚动时更改团队、密钥、组织、模型的数值 PR
    2. 在 UI 中即时反映密钥和团队的更新 PR

日志记录 / 护栏改进​

  • Prometheus
    1. 按 cron 计划发出密钥和团队预算指标 开始使用

安全修复​

  • 修复了 CVE-2025-0330 - Langfuse API 密钥在团队异常处理中泄露的问题 PR
  • 修复了 CVE-2024-6825 - 调用后规则中的远程代码执行问题 PR

Helm​

  • 向 litellm-helm chart 添加了服务注解 PR
  • 向 helm 部署添加了 extraEnvVars PR

演示​

在演示实例上尝试 今天

完整 Git Diff​

从 v1.65.4-stable 以来的完整 git diff 请看 这里