标记为“sso”的 2 篇文章

主要亮点​

• SCIM 集成：使身份提供商（Okta、Azure AD、OneLogin 等）能够自动执行用户和团队（组）的配置、更新和取消配置
• 基于团队和标签的使用跟踪：您现在可以在 1M+ 消费日志中按团队和标签查看使用情况和支出。
• 统一响应 API：支持通过 OpenAI 新的响应 API 调用 Anthropic、Gemini、Groq 等模型。

让我们深入了解。

SCIM 集成​

此版本为 LiteLLM 添加了 SCIM 支持。这允许您的 SSO 提供商（Okta、Azure AD 等）自动在 LiteLLM 上创建/删除用户、团队和成员资格。这意味着当您在 SSO 提供商上删除一个团队时，您的 SSO 提供商将自动删除 LiteLLM 上对应的团队。

阅读更多

基于团队和标签的使用跟踪​

此版本改进了在 100 万+ 消费日志中基于团队和标签的使用跟踪，从而轻松监控您在生产环境中的 LLM API 支出。这包括

• 按团队 + 标签查看每日支出
• 在团队内按密钥查看使用量/支出
• 按多个标签查看支出
• 允许内部用户查看他们所属团队的支出

阅读更多

统一响应 API​

此版本允许您通过 LiteLLM 上的 POST /v1/responses 端点调用 Azure OpenAI、Anthropic、AWS Bedrock 和 Google Vertex AI 模型。这意味着您现在可以使用 OpenAI Codex 等流行工具与您自己的模型配合使用。

阅读更多

新模型 / 更新的模型​

• OpenAI
  1. gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini 定价 - 入门, PR
  2. o4 - 正确映射 o4 到 openai o_series 模型
• Azure AI
  1. Phi-4 输出每令牌成本修复 - PR
  2. 响应 API 支持 入门,PR
• Anthropic
  1. 编辑消息 thinking 支持 - 入门,PR
• Cohere
  1. /v2/chat 直通端点支持及成本跟踪 - 入门, PR
• Azure
  1. 支持 azure tenant_id/client_id 环境变量 - 入门, PR
  2. 修复 2025+ API 版本的 response_format 检查 - PR
  3. 添加 gpt-4.1, gpt-4.1-mini, gpt-4.1-nano, o3, o3-mini, o4-mini 定价
• VLLM
  1. 文件 - 支持 VLLM 视频 URL 的 'file' 消息类型 - 入门, PR
  2. 直通 - 新增 /vllm/ 直通端点支持 入门, PR
• Mistral
  1. 新增 /mistral 直通端点支持 入门, PR
• AWS
  1. 新增映射的 Bedrock 区域 - PR
• VertexAI / Google AI Studio
  1. Gemini - 响应格式 - 通过指定 propertyOrdering 保留 Google Gemini 和 Vertex 的模式字段顺序 - 入门, PR
  2. Gemini-2.5-flash - 返回推理内容 Google AI Studio, Vertex AI
  3. Gemini-2.5-flash - 定价 + 模型信息 PR
  4. 直通 - 新增 /vertex_ai/discovery 路由 - 支持调用 AgentBuilder API 路由 入门, PR
• Fireworks AI
  1. 在 tool_calls 字段中返回工具调用响应（Fireworks 错误地将此返回为内容中的 json 字符串） PR
• Triton
  1. 从 /generate 调用中移除固定的 bad_words / stop words  - 入门, PR
• 其他
  1. 支持 Responses API 上的所有 litellm 提供商（与 Codex 配合使用） - 入门, PR
  2. 修复流式响应中多个工具调用的合并问题 - 入门, PR

支出跟踪改进​

• 成本控制 - 在提示中注入缓存控制点以降低成本 入门, PR
• 支出标签 - 请求头中的支出标签 - 即使未启用基于标签的路由也支持 x-litellm-tags 入门, PR
• Gemini-2.5-flash - 支持推理令牌的成本计算 PR

管理端点 / 用户界面​

• 用户

  1. 在用户页面显示 created_at 和 updated_at - PR

• 虚拟密钥

  1. 按密钥别名过滤 - https://github.com/BerriAI/litellm/pull/10085

• 使用情况标签页

  1. 基于团队的使用情况

     • 新增 LiteLLM_DailyTeamSpend 表用于聚合团队使用情况日志记录 - PR

     • 新增基于团队的使用情况仪表板 + 新增 /team/daily/activity API - PR

     • 在 /team/daily/activity API 上返回团队别名 - PR

     • 允许内部用户查看他们所属团队的支出 - PR

     • 允许按团队查看热门密钥 - PR

  2. 基于标签的使用情况

     • 新增 LiteLLM_DailyTagSpend 表用于聚合基于标签的使用情况日志记录 - PR
     • 仅限代理管理员访问 - PR
     • 允许按标签查看热门密钥
     • 在 /tag/list API 上返回请求中传递的标签（即动态标签） - PR

  3. 在每日用户、团队、标签表中跟踪提示缓存指标 - PR

  4. 显示按密钥的使用情况（在所有总览、团队和标签使用情况仪表板上） - PR

  5. 将旧的使用情况标签页替换为新的使用情况标签页

• 模型

  1. 使列可调整大小/可隐藏 - PR

• API 演练场

  1. 允许内部用户调用 API 演练场 - PR

• SCIM

  1. 添加 LiteLLM SCIM 集成用于团队和用户管理 - 入门, PR

日志记录 / 护栏集成​

• GCS
  1. 修复使用环境变量 GCS_PROJECT_ID 进行 gcs pub sub 日志记录 - 入门, PR
• AIM
  1. 在 pre 和 post-hooks 调用中将 litellm 调用 ID 传递给 Aim 护栏 - 入门, PR
• Azure Blob 存储
  1. 确保在高吞吐量场景下日志记录正常工作 - 入门, PR

代理通用改进​

• 支持通过环境变量设置 litellm.modify_params PR
• 模型发现 - 调用代理的 /v1/models 端点时检查提供商的 /models 端点 - 入门, PR
• /utils/token_counter - 修复检索数据库模型的自定义分词器问题 - 入门, PR
• Prisma 迁移 - 处理数据库表中已存在的列 - PR

部署此版本​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.66.0-stable

pip install litellm==1.66.0.post1

v1.66.0-stable 现已上线，以下是此版本的主要亮点

主要亮点​

• 实时 API 成本跟踪：跟踪实时 API 调用的成本
• Microsoft SSO 自动同步：从 Azure Entra ID 自动同步组和组成员到 LiteLLM
• xAI grok-3：添加了对 xai/grok-3 模型的支持
• 安全修复：修复了 CVE-2025-0330 和 CVE-2024-6825 漏洞

让我们深入了解。

实时 API 成本跟踪​

此版本添加了实时 API 日志记录 + 成本跟踪。

• 日志记录：LiteLLM 现在将实时调用的完整响应记录到所有日志集成（数据库、S3、Langfuse 等）中
• 成本跟踪：您现在可以为实时模型设置 'base_model' 和自定义定价。自定义定价
• 预算：您的密钥/用户/团队预算现在也适用于实时模型。

从此处开始

Microsoft SSO 自动同步​

从 Azure Entra ID 自动同步组和成员到 LiteLLM

此版本增加了对将 Microsoft Entra ID 上的组和成员自动同步到 LiteLLM 的支持。这意味着 LiteLLM 代理管理员可以减少管理团队和成员的时间，并且 LiteLLM 处理以下事项

• 自动创建 Microsoft Entra ID 上存在的团队
• 将 Microsoft Entra ID 上的团队成员与 LiteLLM 团队同步

从此处开始

新模型 / 更新的模型​

• xAI

  1. 添加了对 xai/grok-3-mini-beta 的 reasoning_effort 支持 入门
  2. 添加了对 xai/grok-3 模型的成本跟踪 PR

• Hugging Face

  1. 添加了推理提供商支持 入门

• Azure

  1. 添加了 azure/gpt-4o-realtime-audio 成本跟踪 PR

• VertexAI

  1. 添加了 enterpriseWebSearch 工具支持 入门
  2. 改为仅传递 Vertex AI 响应模式接受的密钥 PR

• Google AI Studio

  1. 添加了对 gemini-2.5-pro 的成本跟踪 PR
  2. 修复了 'gemini/gemini-2.5-pro-preview-03-25' 的定价问题 PR
  3. 修复了传递 file_data 的处理问题 PR

• Azure

  1. 更新了 Azure Phi-4 定价 PR
  2. 添加了 azure/gpt-4o-realtime-audio 成本跟踪 PR

• Databricks

  1. 从参数中移除 reasoning_effort PR
  2. 修复了 Databricks 的自定义端点检查问题 PR

• 通用

  1. 添加了 litellm.supports_reasoning() 工具函数以跟踪 LLM 是否支持推理 入门
  2. 函数调用 - 处理消息工具调用中的 pydantic 基础模型，处理 tools = []，并支持 meta.llama3-3-70b-instruct-v1:0 的工具调用的伪流 PR
  3. LiteLLM 代理 - 允许通过客户端 SDK 将 thinking 参数传递给 litellm 代理 PR
  4. 修复了为 litellm 正确翻译 'thinking' 参数的问题 PR

支出跟踪改进​

• OpenAI, Azure
  1. 实时 API 成本跟踪，消费日志中包含令牌使用指标 入门
• Anthropic
  1. 修复了 Claude Haiku 缓存读取的每令牌定价问题 PR
  2. 添加了对带有 base_model 的 Claude 响应的成本跟踪 PR
  3. 修复了 Anthropic 提示缓存成本计算并修剪了数据库中的日志消息 PR
• 通用
  1. 添加了令牌跟踪并在消费日志中记录 usage 对象 PR
  2. 在部署级别处理自定义定价 PR

管理端点 / 用户界面​

• 测试密钥标签页

  1. 在测试密钥页面添加了推理内容、ttft、使用指标的渲染 PR

     查看输入、输出、推理令牌、ttft 指标。

• 标签 / 策略管理

  1. 添加了标签/策略管理。基于请求元数据创建路由规则。这允许您强制带有 tags="private" 的请求仅流向特定模型。入门

     
     

     创建和管理标签。

• 重新设计的登录屏幕

  1. 优化了登录屏幕 PR

• Microsoft SSO 自动同步

  1. 添加了调试路由，允许管理员调试 SSO JWT 字段 PR
  2. 添加了使用 MSFT Graph API 将用户分配到团队的功能 PR
  3. 将 litellm 连接到 Azure Entra ID 企业应用程序 PR
  4. 添加了功能，允许管理员在 litellm SSO 自动创建团队时设置 default_team_params PR
  5. 修复了 MSFT SSO 使用正确的字段作为用户电子邮件的问题 PR
  6. 添加了 UI 支持，用于在 litellm SSO 自动创建团队时设置默认团队设置 PR

• 用户界面错误修复

  1. 防止团队、密钥、组织、模型数值在滚动时改变 PR
  2. 立即在用户界面中反映密钥和团队更新 PR

日志记录 / 护栏改进​

• Prometheus
  1. 按 cron 作业计划发出密钥和团队预算指标 入门

安全修复​

• 修复了 CVE-2025-0330 - 团队异常处理中 Langfuse API 密钥泄露问题 PR
• 修复了 CVE-2024-6825 - post call 规则中的远程代码执行漏洞 PR

Helm​

• 为 litellm-helm chart 添加了服务注解 PR
• 为 helm 部署添加了 extraEnvVars PR

演示​

今天在演示实例上试用 点击此处

完整的 Git Diff​

查看自 v1.65.4-stable 以来的完整 Git Diff，此处