一篇标签为“session_management”的帖子

部署此版本​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.67.4-stable

pip install litellm==1.67.4.post1

主要亮点​

• 改进的用户管理：此版本支持跨用户、密钥、团队和模型进行搜索和筛选。
• Responses API 负载均衡：将请求路由到不同的提供商区域，并确保会话连续性。
• UI 会话日志：将多个 LiteLLM 请求分组到一个会话中。

改进的用户管理​

此版本使得在 LiteLLM 上管理用户和密钥更加容易。您现在可以跨用户、密钥、团队和模型进行搜索和筛选，并更轻松地控制用户设置。

新特性包括

• 按电子邮件、ID、角色或团队搜索用户。
• 在一个地方查看用户的所有模型、团队和密钥。
• 直接在用户标签页更改用户角色和模型访问权限。

这些更改有助于您减少在 LiteLLM 上进行用户设置和管理的时间。

Responses API 负载均衡​

此版本为 Responses API 引入了负载均衡，允许您将请求路由到不同的提供商区域并确保会话连续性。其工作原理如下：

• 如果提供了 previous_response_id，LiteLLM 将把请求路由到生成先前响应的原始部署—从而确保会话连续性。
• 如果未提供 previous_response_id，LiteLLM 将在您可用的部署之间进行请求负载均衡。

了解更多

UI 会话日志​

此版本允许您将发送到 LiteLLM 代理的请求分组到一个会话中。如果您在请求中指定了 litellm_session_id，LiteLLM 将自动把同一会话中的所有日志进行分组。这使得您可以轻松地按会话跟踪使用情况和请求内容。

了解更多

新模型 / 已更新模型​

• OpenAI
  1. 添加了 gpt-image-1 成本跟踪 开始使用
  2. 错误修复：当质量未指定时，为 gpt-image-1 添加了成本跟踪 PR
• Azure
  1. 修复了在 Azure 中时间戳粒度传递给 whisper 的问题 开始使用
  2. 添加了 azure/gpt-image-1 定价 开始使用, PR
  3. 添加了 azure/computer-use-preview, azure/gpt-4o-audio-preview-2024-12-17, azure/gpt-4o-mini-audio-preview-2024-12-17 的成本跟踪 PR
• Bedrock
  1. 当 model="arn:.." 时，添加了对所有兼容 Bedrock 参数的支持 (Bedrock 应用推理配置文件模型) 开始使用, PR
  2. 修复了错误的系统提示转换 PR
• VertexAI / Google AI Studio
  1. 允许为 gemini-2.5-flash 设置 budget_tokens=0 开始使用,PR
  2. 确保返回的 usage 包含 thinking token 用量 PR
  3. 添加了 gemini-2.5-pro-preview-03-25 的成本跟踪 PR
• Cohere
  1. 添加了对 cohere command-a-03-2025 的支持 开始使用, PR
• SageMaker
  1. 添加了对 max_completion_tokens 参数的支持 开始使用, PR
• Responses API
  1. 添加了对 GET 和 DELETE 操作的支持 - /v1/responses/{response_id} 开始使用
  2. 添加了对非 OpenAI 模型的会话管理支持 PR
  3. 添加了路由亲和性以保持会话内模型一致性 开始使用, PR

支出跟踪改进​

• 错误修复：修复了支出跟踪错误，确保默认的 litellm 参数不会在内存中被修改 PR
• 弃用日期：添加了 Azure、VertexAI 模型的弃用日期 PR

管理端点 / UI​

用户​

• 筛选和搜索:

  • 按 user_id、角色、团队、sso_id 筛选用户
  • 按电子邮件搜索用户
  
  

• 用户信息面板：添加了新的用户信息面板 PR

  • 查看与用户关联的团队、密钥、模型
  • 编辑用户角色、模型权限

团队​

• 筛选和搜索:

  • 按组织、团队 ID 筛选团队 PR
  • 按团队名称搜索团队 PR
  
  

密钥​

• 密钥管理:
  • 支持交叉筛选和按密钥哈希筛选 PR
  • 修复了重置筛选条件时密钥别名重置的问题 PR
  • 修复了创建密钥时表格渲染的问题 PR

UI 日志页面​

• 会话日志：添加了 UI 会话日志 开始使用

UI 认证与安全​

• 需要认证：现在所有仪表盘页面都需要认证 PR
• SSO 修复：修复了 SSO 用户登录时令牌无效的错误 PR
• [测试版] 加密令牌：将 UI 迁移至使用加密令牌 PR
• 令牌过期：支持通过重定向到登录页面刷新令牌（修复了令牌过期会显示空白页面的问题）PR

UI 一般修复​

• 修复 UI 闪烁问题：解决了仪表盘中的 UI 闪烁问题 PR
• 改进术语：改进了密钥和工具页面的加载和无数据状态显示 PR
• Azure 模型支持：修复了编辑 Azure 公共模型名称和创建后更改模型名称的问题 PR
• 团队模型选择器：修复了团队模型选择的错误 PR

日志记录 / Guardrail 集成​

• Datadog:
  1. 修复了 Datadog LLM 可观测性日志记录 开始使用, PR
• Prometheus / Grafana:
  1. 在 LiteLLM Grafana 模板上启用数据源选择 开始使用, PR
• AgentOps:
  1. 添加了 AgentOps 集成 开始使用, PR
• Arize:
  1. 为 Arize 与 Phoenix 集成添加了缺失属性 开始使用, PR

一般代理改进​

• 缓存：修复了计算缓存键时考虑 thinking 或 reasoning_effort 的缓存问题 PR
• 模型组：修复了用户在 model_info 中设置 model_group 的情况的处理 PR
• 透传端点：确保使用方法、URL、请求/响应体记录 PassthroughStandardLoggingPayload PR
• 修复 SQL 注入：修复了 spend_management_endpoints.py 中潜在的 SQL 注入漏洞 PR

Helm​

• 修复了迁移作业中的 serviceAccountName PR

完整更新日志​

完整的更改列表可在GitHub 发布说明中找到。