跳到主要内容

v1.67.0-stable - SCIM 集成

Krrish Dholakia
Ishaan Jaffer

主要亮点​

  • SCIM 集成：使身份提供商（Okta、Azure AD、OneLogin 等）能够自动化用户和团队（组）的配置、更新和解除配置
  • 基于团队和标签的使用跟踪：现在您可以在 100 万+消费日志中按团队和标签查看使用量和支出。
  • 统一响应 API：支持通过 OpenAI 的新 Responses API 调用 Anthropic、Gemini、Groq 等模型。

让我们深入了解。

SCIM 集成​

此版本为 LiteLLM 添加了 SCIM 支持。这允许您的 SSO 提供商（Okta、Azure AD 等）在 LiteLLM 上自动创建/删除用户、团队和成员资格。这意味着当您在 SSO 提供商中删除一个团队时，您的 SSO 提供商将自动删除 LiteLLM 上相应的团队。

阅读更多

基于团队和标签的使用跟踪​

此版本改进了基于团队和标签的使用跟踪，支持 100 万+消费日志，使得在生产环境中监控您的 LLM API 支出变得更容易。这包括：

  • 按团队 + 标签查看每日支出
  • 在团队内部按 key 查看使用量/支出
  • 按多个标签查看支出
  • 允许内部用户查看他们所属团队的支出

阅读更多

统一响应 API​

此版本允许您通过 LiteLLM 上的 POST /v1/responses 端点调用 Azure OpenAI、Anthropic、AWS Bedrock 和 Google Vertex AI 模型。这意味着您现在可以使用 OpenAI Codex 等流行工具来调用您自己的模型。

阅读更多

新模型 / 更新的模型​

  • OpenAI
    1. gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini 定价 - 入门, PR
    2. o4 - 将 o4 正确映射到 openai o 系列模型
  • Azure AI
    1. Phi-4 每令牌输出成本修复 - PR
    2. Responses API 支持 入门,PR
  • Anthropic
    1. 编辑消息思考支持 - 入门,PR
  • Cohere
    1. /v2/chat 直通端点支持并包含成本跟踪 - 入门, PR
  • Azure
    1. 支持 azure tenant_id/client_id 环境变量 - 入门, PR
    2. 修复 2025+ API 版本的 response_format 检查 - PR
    3. 添加 gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini 定价
  • VLLM
    1. 文件 - 支持 VLLM 视频 URL 的 'file' 消息类型 - 入门, PR
    2. 直通 - 新增 /vllm/ 直通端点支持 入门, PR
  • Mistral
    1. 新增 /mistral 直通端点支持 入门, PR
  • AWS
    1. 新增映射的 bedrock 区域 - PR
  • VertexAI / Google AI Studio
    1. Gemini - 响应格式 - 通过指定 propertyOrdering 保留 Google Gemini 和 Vertex 的 schema 字段顺序 - 入门, PR
    2. Gemini-2.5-flash - 返回推理内容 Google AI Studio, Vertex AI
    3. Gemini-2.5-flash - 定价 + 模型信息 PR
    4. 直通 - 新增 /vertex_ai/discovery 路由 - 支持调用 AgentBuilder API 路由 入门, PR
  • Fireworks AI
    1. 在 tool_calls 字段中返回工具调用响应（fireworks 错误地将其作为内容中的 JSON 字符串返回） PR
  • Triton
    1. 从 /generate 调用中移除固定移除的 bad_words / stop words - 入门, PR
  • 其他
    1. 在 Responses API 上支持所有 LiteLLM 提供商（与 Codex 兼容） - 入门, PR
    2. 修复流式响应中组合多个工具调用的问题 - 入门, PR

支出跟踪改进​

  • 成本控制 - 在 prompt 中注入缓存控制点以降低成本 入门, PR
  • 支出标签 - 头部中的支出标签 - 即使未启用基于标签的路由也支持 x-litellm-tags 入门, PR
  • Gemini-2.5-flash - 支持推理令牌的成本计算 PR

管理端点 / UI​

  • 用户

    1. 在用户页面显示 created_at 和 updated_at - PR

  • 虚拟密钥

    1. 按密钥别名过滤 - https://github.com/BerriAI/litellm/pull/10085

  • 使用情况标签页

    1. 基于团队的使用情况

      • 新增 LiteLLM_DailyTeamSpend 表用于聚合团队使用情况日志 - PR

      • 新增基于团队的使用情况仪表板 + 新增 /team/daily/activity API - PR

      • 在 /team/daily/activity API 返回团队别名 - PR

      • 允许内部用户查看他们所属团队的支出 - PR

      • 允许按团队查看热门密钥 - PR

    2. 基于标签的使用情况

      • 新增 LiteLLM_DailyTagSpend 表用于聚合基于标签的使用情况日志 - PR
      • 仅限 Proxy Admins 查看 - PR
      • 允许按标签查看热门密钥
      • 在 /tag/list API 上返回请求中传递的标签（即动态标签） - PR

    3. 在每日用户、团队、标签表中跟踪 prompt 缓存指标 - PR

    4. 按密钥显示使用情况（在所有、团队和标签使用情况仪表板上） - PR

    5. 用新使用情况标签页替换旧使用情况

  • 模型

    1. 使列可调整大小/可隐藏 - PR

  • API Playground

    1. 允许内部用户调用 API playground - PR

  • SCIM

    1. 添加 LiteLLM SCIM 集成用于团队和用户管理 - 入门, PR

日志记录 / 安全防护集成​

  • GCS
    1. 修复 GCS pub/sub 日志记录使用环境变量 GCS_PROJECT_ID 的问题 - 入门, PR
  • AIM
    1. 在 pre-hooks 和 post-hooks 调用时，将 LiteLLM 调用 ID 传递给 Aim 安全防护 - 入门, PR
  • Azure blob 存储
    1. 确保在高吞吐量场景下日志记录正常工作 - 入门, PR

代理通用改进​

  • 支持通过环境变量设置 litellm.modify_params PR
  • 模型发现 - 调用代理的 /v1/models 端点时检查提供商的 /models 端点 - 入门, PR
  • /utils/token_counter - 修复检索数据库模型的自定义分词器问题 - 入门, PR
  • Prisma migrate - 处理数据库表中已存在的列 - PR