跳到主要内容

v1.67.4-stable - 改进的用户管理

Krrish Dholakia
Ishaan Jaffer

部署此版本​

docker run litellm
docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.67.4-stable

主要亮点​

  • 改进的用户管理：此版本实现了跨用户、密钥、团队和模型的搜索和筛选功能。
  • 响应 API 负载均衡：跨提供商区域路由请求并确保会话连续性。
  • UI 会话日志：将 LiteLLM 的多个请求分组到一个会话中。

改进的用户管理​


此版本使得在 LiteLLM 上管理用户和密钥更加容易。您现在可以跨用户、密钥、团队和模型进行搜索和筛选，并更轻松地控制用户设置。

新功能包括

  • 按电子邮件、ID、角色或团队搜索用户。
  • 在一个地方查看用户的所有模型、团队和密钥。
  • 直接在用户选项卡中更改用户角色和模型访问权限。

这些更改有助于您减少在 LiteLLM 上进行用户设置和管理所需的时间。

响应 API 负载均衡​


此版本引入了 Responses API 的负载均衡功能，允许您跨提供商区域路由请求并确保会话连续性。其工作原理如下：

  • 如果提供了 previous_response_id，LiteLLM 会将请求路由到生成先前响应的原始部署，从而确保会话连续性。
  • 如果未提供 previous_response_id，LiteLLM 将在您可用的部署之间进行请求的负载均衡。

阅读更多

UI 会话日志​


此版本允许您将 LiteLLM 代理的请求分组到一个会话中。如果您在请求中指定 litellm_session_id，LiteLLM 将自动将同一会话中的所有日志分组。这使得您可以轻松地按会话跟踪使用情况和请求内容。

阅读更多

新增模型 / 更新模型​

  • OpenAI
    1. 添加了 gpt-image-1 成本跟踪 开始使用
    2. 错误修复：添加了在未指定质量时 gpt-image-1 的成本跟踪 PR
  • Azure
    1. 修复了 Azure 中时间戳粒度传递给 whisper 的问题 开始使用
    2. 添加了 azure/gpt-image-1 定价 开始使用, PR
    3. 添加了 azure/computer-use-preview, azure/gpt-4o-audio-preview-2024-12-17, azure/gpt-4o-mini-audio-preview-2024-12-17 的成本跟踪 PR
  • Bedrock
    1. 添加了对 model="arn:.." 时所有兼容 Bedrock 参数的支持 (Bedrock 应用程序推理配置文件模型) 开始使用, PR
    2. 修复了错误的系统提示词转换问题 PR
  • VertexAI / Google AI Studio
    1. 允许为 gemini-2.5-flash 设置 budget_tokens=0 开始使用,PR
    2. 确保返回的 usage 包含思考令牌使用量 PR
    3. 添加了 gemini-2.5-pro-preview-03-25 的成本跟踪 PR
  • Cohere
    1. 添加了对 cohere command-a-03-2025 的支持 开始使用, PR
  • SageMaker
    1. 添加了对 max_completion_tokens 参数的支持 开始使用, PR
  • 响应 API
    1. 添加了对 GET 和 DELETE 操作的支持 - /v1/responses/{response_id} 开始使用
    2. 添加了对非 OpenAI 模型的会话管理支持 PR
    3. 添加了路由亲和性以在会话中保持模型一致性 开始使用, PR

消费跟踪改进​

  • 错误修复：修复了消费跟踪错误，确保默认 litellm 参数不会在内存中被修改 PR
  • 弃用日期：添加了 Azure、VertexAI 模型的弃用日期 PR

管理端点 / UI​

用户​

  • 筛选和搜索:

    • 按 user_id、角色、团队、sso_id 筛选用户
    • 按电子邮件搜索用户

  • 用户信息面板：添加了新的用户信息面板 PR

    • 查看与用户关联的团队、密钥、模型
    • 编辑用户角色、模型权限

团队​

  • 筛选和搜索:

    • 按组织、团队 ID 筛选团队 PR
    • 按团队名称搜索团队 PR

密钥​

  • 密钥管理:
    • 支持交叉筛选和按密钥哈希筛选 PR
    • 修复了重置筛选器时密钥别名重置的问题 PR
    • 修复了创建密钥时表格渲染的问题 PR

UI 日志页面​

UI 认证与安全​

  • 强制认证：所有仪表板页面现在都需要认证 PR
  • SSO 修复：修复了 SSO 用户登录无效令牌错误 PR
  • [BETA] 加密令牌：UI 迁移到加密令牌使用 PR
  • 令牌过期：通过重定向到登录页面支持令牌刷新（修复了令牌过期导致显示空白页的问题） PR

UI 常规修复​

  • 修复了 UI 闪烁：解决了仪表板中的 UI 闪烁问题 PR
  • 改进的术语：密钥和工具页面的加载和无数据状态更好 PR
  • Azure 模型支持：修复了编辑 Azure 公共模型名称和创建后更改模型名称的问题 PR
  • 团队模型选择器：修复了团队模型选择错误 PR

日志记录 / Guardrail 集成​

  • Datadog:
    1. 修复了 Datadog LLM 可观测性日志记录问题 开始使用, PR
  • Prometheus / Grafana:
    1. 在 LiteLLM Grafana 模板上启用数据源选择 开始使用, PR
  • AgentOps:
    1. 添加了 AgentOps 集成 开始使用, PR
  • Arize:
    1. 添加了 Arize 和 Phoenix 集成所需的缺失属性 开始使用, PR

代理常规改进​

  • 缓存：修复了在计算缓存密钥时考虑 thinking 或 reasoning_effort 的缓存问题 PR
  • 模型组：修复了用户在 model_info 中设置 model_group 的情况处理问题 PR
  • 透传端点：确保使用方法、URL、请求/响应正文记录 PassthroughStandardLoggingPayload PR
  • 修复 SQL 注入：修复了 spend_management_endpoints.py 中潜在的 SQL 注入漏洞 PR

Helm​

  • 修复了迁移作业中的 serviceAccountName PR

完整变更日志​

完整的更改列表可在GitHub 发布说明中找到。