跳到主要内容

一篇标签为 "ui_improvements" 的文章

查看所有标签

Krrish Dholakia
Ishaan Jaffer

部署此版本​

docker run litellm
docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.67.4-stable

主要亮点​

  • 改进的用户管理：此版本支持在用户、密钥、团队和模型之间进行搜索和过滤。
  • 响应 API 负载均衡：将请求路由到不同提供商区域并确保会话连续性。
  • UI 会话日志：将对 LiteLLM 的多个请求分组到一个会话中。

改进的用户管理​


此版本让在 LiteLLM 上管理用户和密钥变得更容易。您现在可以在用户、密钥、团队和模型之间进行搜索和过滤，并更轻松地控制用户设置。

新功能包括

  • 按电子邮件、ID、角色或团队搜索用户。
  • 在一处查看用户的所有模型、团队和密钥。
  • 直接在“用户”标签页中更改用户角色和模型访问权限。

这些更改帮助您减少在 LiteLLM 上设置和管理用户的时间。

响应 API 负载均衡​


此版本为响应 API 引入了负载均衡，使您能够将请求路由到不同提供商区域并确保会话连续性。其工作原理如下：

  • 如果提供了 previous_response_id，LiteLLM 会将请求路由到生成先前响应的原始部署——从而确保会话连续性。
  • 如果未提供 previous_response_id，LiteLLM 会在您可用的部署之间进行请求负载均衡。

了解更多

UI 会话日志​


此版本允许您将对 LiteLLM 代理的请求分组到一个会话中。如果您在请求中指定了 litellm_session_id，LiteLLM 会自动将同一会话中的所有日志分组。这使您可以轻松跟踪每个会话的使用情况和请求内容。

了解更多

新模型 / 更新模型​

  • OpenAI
    1. 添加了 gpt-image-1 成本跟踪 开始使用
    2. Bug 修复：添加了 gpt-image-1 在未指定质量时的成本跟踪 PR
  • Azure
    1. 修复了 Azure 中传递给 whisper 的时间戳粒度问题 开始使用
    2. 添加了 azure/gpt-image-1 定价 开始使用, PR
    3. 添加了 `azure/computer-use-preview`、`azure/gpt-4o-audio-preview-2024-12-17`、`azure/gpt-4o-mini-audio-preview-2024-12-17` 的成本跟踪 PR
  • Bedrock
    1. 当 model="arn:.." 时，添加了对所有兼容的 Bedrock 参数的支持（Bedrock 应用程序推理配置文件模型） 开始使用, PR
    2. 修复了错误的系统提示词转换 PR
  • VertexAI / Google AI Studio
    1. 允许为 `gemini-2.5-flash` 设置 `budget_tokens=0` 开始使用,PR
    2. 确保返回的 `usage` 包含思考令牌的使用量 PR
    3. 添加了 `gemini-2.5-pro-preview-03-25` 的成本跟踪 PR
  • Cohere
    1. 添加了对 cohere command-a-03-2025 的支持 开始使用, PR
  • SageMaker
    1. 添加了对 max_completion_tokens 参数的支持 开始使用, PR
  • 响应 API
    1. 添加了对 GET 和 DELETE 操作的支持 - `/v1/responses/{response_id}` 开始使用
    2. 添加了对非 OpenAI 模型的会话管理支持 PR
    3. 添加了路由亲和性以保持会话内模型一致性 开始使用, PR

支出跟踪改进​

  • Bug 修复：修复了支出跟踪 Bug，确保默认 litellm 参数不会在内存中被修改 PR
  • 弃用日期：添加了 Azure、VertexAI 模型的弃用日期 PR

管理端点 / UI​

用户​

  • 过滤和搜索:

    • 按 user_id、角色、团队、sso_id 过滤用户
    • 按电子邮件搜索用户

  • 用户信息面板：添加了新的用户信息面板 PR

    • 查看与用户关联的团队、密钥、模型
    • 编辑用户角色、模型权限

团队​

  • 过滤和搜索:

    • 按组织、团队 ID 过滤团队 PR
    • 按团队名称搜索团队 PR

密钥​

  • 密钥管理:
    • 支持交叉过滤和按密钥哈希过滤 PR
    • 修复了重置过滤器时密钥别名重置的问题 PR
    • 修复了创建密钥时表格渲染的问题 PR

UI 日志页面​

UI 认证与安全​

  • 强制认证：所有仪表板页面现在都需要认证 PR
  • SSO 修复：修复了 SSO 用户登录无效令牌错误 PR
  • [BETA] 加密令牌：UI 改为使用加密令牌 PR
  • 令牌过期：支持通过重定向到登录页面来刷新令牌（修复了过期令牌会导致显示空白页面的问题） PR

UI 常规修复​

  • 修复 UI 闪烁：解决了仪表板中的 UI 闪烁问题 PR
  • 改进术语：密钥和工具页面上的加载中和无数据状态显示更友好 PR
  • Azure 模型支持：修复了编辑 Azure 公共模型名称和创建后更改模型名称的问题 PR
  • 团队模型选择器：修复了团队模型选择的 Bug PR

日志记录 / 护栏集成​

  • Datadog:
    1. 修复了 Datadog LLM 可观测性日志记录 开始使用, PR
  • Prometheus / Grafana:
    1. 在 LiteLLM Grafana 模板中启用数据源选择 开始使用, PR
  • AgentOps:
    1. 添加了 AgentOps 集成 开始使用, PR
  • Arize:
    1. 为 Arize 和 Phoenix 集成添加了缺失的属性 开始使用, PR

通用代理改进​

  • 缓存：修复了在计算缓存键时考虑 `thinking` 或 `reasoning_effort` 的缓存问题 PR
  • 模型组：修复了用户在 model_info 中设置 model_group 的情况 PR
  • 直通端点：确保 `PassthroughStandardLoggingPayload` 记录方法、URL、请求/响应体 PR
  • 修复 SQL 注入：修复了 spend_management_endpoints.py 中潜在的 SQL 注入漏洞 PR

Helm​

  • 修复了迁移作业上的 serviceAccountName 问题 PR

完整更新日志​

完整的更改列表可在 GitHub 发布说明 中找到。