"responses_api" 标签下的 3 篇文章

部署此版本​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.67.4-stable

pip install litellm==1.67.4.post1

主要亮点​

• 改进的用户管理：此版本支持跨用户、密钥、团队和模型进行搜索和过滤。
• Responses API 负载均衡：跨提供商区域路由请求并确保会话连续性。
• UI 会话日志：将对 LiteLLM 的多个请求分组到一个会话中。

改进的用户管理​

此版本使在 LiteLLM 上管理用户和密钥变得更加容易。您现在可以跨用户、密钥、团队和模型进行搜索和过滤，并更轻松地控制用户设置。

新增功能包括

• 按电子邮件、ID、角色或团队搜索用户。
• 在一个地方查看用户的所有模型、团队和密钥。
• 直接从“用户”选项卡更改用户角色和模型访问权限。

这些更改有助于您减少在 LiteLLM 上进行用户设置和管理的时间。

Responses API 负载均衡​

此版本为 Responses API 引入了负载均衡，允许您跨提供商区域路由请求并确保会话连续性。其工作方式如下：

• 如果提供了 previous_response_id，LiteLLM 会将请求路由到生成先前响应的原始部署——确保会话连续性。
• 如果未提供 previous_response_id，LiteLLM 会在您可用的部署中对请求进行负载均衡。

阅读更多

UI 会话日志​

此版本允许您将发送到 LiteLLM 代理的请求分组到一个会话中。如果您在请求中指定了 litellm_session_id，LiteLLM 将自动把同一会话中的所有日志分组。这使得您可以轻松地按会话追踪使用情况和请求内容。

阅读更多

新模型 / 更新模型​

• OpenAI
  1. 添加了 gpt-image-1 的成本追踪 入门
  2. 错误修复：添加了未指定质量时 gpt-image-1 的成本追踪 PR
• Azure
  1. 修复了 Azure 中时间戳粒度传递给 whisper 的问题 入门
  2. 添加了 azure/gpt-image-1 定价 入门, PR
  3. 添加了对 azure/computer-use-preview、azure/gpt-4o-audio-preview-2024-12-17、azure/gpt-4o-mini-audio-preview-2024-12-17 的成本追踪 PR
• Bedrock
  1. 当 model="arn:.." 时（Bedrock 应用程序推理配置文件模型），添加了对所有兼容 Bedrock 参数的支持 入门, PR
  2. 修复了系统提示转换错误 PR
• VertexAI / Google AI Studio
  1. 允许为 gemini-2.5-flash 设置 budget_tokens=0 入门,PR
  2. 确保返回的 usage 包含思考令牌的使用量 PR
  3. 添加了对 gemini-2.5-pro-preview-03-25 的成本追踪 PR
• Cohere
  1. 添加了对 cohere command-a-03-2025 的支持 入门, PR
• SageMaker
  1. 添加了对 max_completion_tokens 参数的支持 入门, PR
• Responses API
  1. 添加了对 GET 和 DELETE 操作的支持 - /v1/responses/{response_id} 入门
  2. 添加了对非 OpenAI 模型的会话管理支持 PR
  3. 添加了路由亲和性以维持会话内的模型一致性 入门, PR

支出追踪改进​

• 错误修复：修复了支出追踪错误，确保默认的 litellm 参数不会在内存中被修改 PR
• 弃用日期：添加了 Azure、VertexAI 模型的弃用日期 PR

管理端点 / UI​

用户​

• 过滤和搜索:

  • 按 user_id、角色、团队、sso_id 过滤用户
  • 按电子邮件搜索用户
  
  

• 用户信息面板：添加了新的用户信息窗格 PR

  • 查看与用户关联的团队、密钥、模型
  • 编辑用户角色、模型权限

团队​

• 过滤和搜索:

  • 按组织、团队 ID 过滤团队 PR
  • 按团队名称搜索团队 PR
  
  

密钥​

• 密钥管理:
  • 支持交叉过滤和按密钥哈希过滤 PR
  • 修复了重置过滤器时密钥别名重置的问题 PR
  • 修复了创建密钥时表格渲染的问题 PR

UI 日志页面​

• 会话日志：添加了 UI 会话日志 入门

UI 认证与安全​

• 强制认证：所有仪表板页面现在都需要认证 PR
• SSO 修复：修复了 SSO 用户登录时令牌无效的错误 PR
• [测试版] 加密令牌：将 UI 迁移到加密令牌使用 PR
• 令牌过期：通过重新路由到登录页面支持令牌刷新（修复了令牌过期后显示空白页面的问题） PR

UI 通用修复​

• 修复 UI 闪烁：解决了仪表板中的 UI 闪烁问题 PR
• 改进术语：在密钥和工具页面上更好地显示加载和无数据状态 PR
• Azure 模型支持：修复了编辑 Azure 公共模型名称和创建后更改模型名称的问题 PR
• 团队模型选择器：修复了团队模型选择的错误 PR

日志 / 护栏集成​

• Datadog:
  1. 修复了 Datadog LLM 可观察性日志记录问题 入门, PR
• Prometheus / Grafana:
  1. 在 LiteLLM Grafana 模板上启用数据源选择 入门, PR
• AgentOps:
  1. 添加了 AgentOps 集成 入门, PR
• Arize:
  1. 为 Arize 和 Phoenix 集成添加了缺失的属性 入门, PR

通用代理改进​

• 缓存：修复了在计算缓存密钥时考虑 thinking 或 reasoning_effort 的缓存问题 PR
• 模型组：修复了用户在 model_info 中设置 model_group 的情况的处理问题 PR
• 透传端点：确保 PassthroughStandardLoggingPayload 在记录时包含方法、URL、请求/响应体 PR
• 修复 SQL 注入：修复了 spend_management_endpoints.py 中潜在的 SQL 注入漏洞 PR

Helm

• 修复了迁移作业上的 serviceAccountName PR

完整更新日志​

完整的更改列表可在 GitHub 版本说明中找到。

这些是自 v1.63.11-stable 以来的更改。

此版本带来了

• LLM 转换改进（MCP 支持和 Bedrock 应用程序配置文件）
• 基于用量的路由的性能改进
• 通过 websockets 支持流式传输护栏
• Azure OpenAI 客户端性能修复（来自先前版本）

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.14-stable.patch1

演示实例​

这是用于测试更改的演示实例

• 实例：https://demo.litellm.ai/
• 登录凭据
  • 用户名：admin
  • 密码：sk-1234

新模型 / 更新模型​

• Azure gpt-4o - 将定价修复为最新的全球定价 - PR
• O1-Pro - 添加定价 + 模型信息 - PR
• Azure AI - 添加了 mistral 3.1 small 定价 - PR
• Azure - 添加了 gpt-4.5-preview 定价 - PR

LLM 转换​

1. 新 LLM 功能

• Bedrock：支持 Bedrock 应用程序推理配置文件 文档
  • 从 Bedrock 应用程序配置文件 ID 推断 AWS 区域 - (arn:aws:bedrock:us-east-1:...)
• Ollama - 支持通过 /v1/completions 调用 入门
• Bedrock - 支持 us.deepseek.r1-v1:0 模型名称 文档
• OpenRouter - 支持 OPENROUTER_API_BASE 环境变量 文档
• Azure - 添加音频模型参数支持 文档
• OpenAI - 支持 PDF 文件 文档
• OpenAI - o1-pro Responses API 流式传输支持 文档
• [测试版]MCP - 将 MCP 工具与 LiteLLM SDK 一起使用 文档

2. 错误修复

• Voyage：修复了嵌入追踪上的提示令牌问题 - PR
• Sagemaker - 修复“声明的 Content-Length 数据过少”错误 - PR
• OpenAI 兼容模型 - 修复了设置 custom_llm_provider 时调用 OpenAI 兼容模型的问题 - PR
• VertexAI - 支持 Embedding ‘outputDimensionality’ - PR
• Anthropic - 在流式传输/非流式传输时返回一致的 JSON 响应格式 - PR

支出追踪改进​

• litellm_proxy/ - 支持在使用客户端 SDK 时从代理读取 litellm 响应成本头
• 重置预算作业 - 修复了密钥/团队/用户上的预算重置错误 PR
• 流式传输 - 防止最后一个包含使用量的块被忽略（影响 Bedrock 流式传输 + 成本追踪） PR

UI​

1. 用户页面
   • 功能：控制默认内部用户设置 PR
2. 图标
   • 功能：将外部的 "artificialanalysis.ai" 图标替换为本地 svg PR
3. 登录/退出
   • 修复：当数据库中不存在 default_user_id 用户时的默认登录问题 PR

日志集成​

• 支持流式响应的调用后护栏 入门
• Arize 入门
  • 修复无效的包导入 PR
  • 迁移到使用 standardloggingpayload 进行元数据记录，确保跨度成功落地 PR
  • 修复日志记录以仅记录 LLM 输入/输出 PR
  • 动态 API Key/Space 参数支持 入门
• StandardLoggingPayload - 在 payload 中记录 litellm_model_name。允许了解模型发送给 API 提供商的是什么 入门
• 提示管理 - 允许构建自定义提示管理集成 入门

性能 / 可靠性改进​

• Redis 缓存 - 添加 5 秒默认超时，防止挂起的 redis 连接影响 llm 调用 PR
• 允许禁用所有支出更新/写入数据库 - 允许通过标志禁用所有对数据库的支出更新的补丁 PR
• Azure OpenAI - 正确复用 azure openai 客户端，修复了先前稳定版本中的性能问题 PR
• Azure OpenAI - 在 Azure/OpenAI 客户端上使用 litellm.ssl_verify PR
• 基于用量的路由 - 通配符模型支持 入门
• 基于用量的路由 - 支持向 redis 批量写入增量 - 将延迟降低至与 ‘simple-shuffle’ 相同 PR
• 路由器 - 在“无可用健康部署错误”中显示模型冷却的原因 PR
• 缓存 - 添加内存缓存中项目的最大值限制 (1MB) - 防止通过代理发送大型图像 URL 时出现 OOM 错误 PR

通用改进​

• 透传端点 - 支持在透传端点的响应头中返回 api-base 文档
• SSL - 支持从环境变量读取 SSL 安全级别 - 允许用户指定较低的安全设置 入门
• 凭据 - 仅当 STORE_MODEL_IN_DB 为 True 时才轮询 Credentials 表 PR
• 图像 URL 处理 - 关于图像 URL 处理的新架构文档 文档
• OpenAI - 升级到 pip install "openai==1.68.2" PR
• Gunicorn - 安全修复 - 升级到 gunicorn==23.0.0 PR

完整 Git Diff​

这是完整的 git diff

这些是自 v1.63.2-stable 以来的更改。

此版本主要侧重于

• [测试版]Responses API 支持
• Snowflake Cortex 支持，Amazon Nova 图像生成
• UI - 凭据管理，添加新模型时复用凭据
• UI - 在添加模型之前测试与 LLM 提供商的连接

已知问题​

• 🚨 Azure OpenAI 已知问题 - 如果您使用 Azure OpenAI，我们不建议升级。此版本未通过我们的 Azure OpenAI 负载测试

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.11-stable

演示实例​

这是用于测试更改的演示实例

• 实例：https://demo.litellm.ai/
• 登录凭据
  • 用户名：admin
  • 密码：sk-1234

新模型 / 更新模型​

• 支持 Amazon Nova Canvas 的图像生成 入门
• 添加 Jamba 新模型的定价 PR
• 添加 Amazon 欧洲模型的定价 PR
• 添加 Bedrock Deepseek R1 模型定价 PR
• 更新 Gemini 定价：Gemma 3，Flash 2 思考更新，LearnLM PR
• 将 Cohere Embedding 3 模型标记为多模态 PR
• 添加 Azure Data Zone 定价 PR
  • LiteLLM 追踪 azure/eu 和 azure/us 模型的成本

LLM 转换​

1. 新端点

• [测试版]POST /responses API。 入门

2. 新 LLM 提供商

• Snowflake Cortex 入门

3. 新 LLM 功能

• 在流式传输中支持 OpenRouter reasoning_content 入门

4. 错误修复

• OpenAI：在 bad request 错误时返回 code、param 和 type 关于 litellm 异常的更多信息
• Bedrock：修复 converse 块解析，使其仅在工具使用时返回空字典 PR
• Bedrock：支持 extra_headers PR
• Azure：修复函数调用错误并将默认 API 版本更新到 2025-02-01-preview PR
• Azure：修复 AI 服务 URL PR
• Vertex AI：处理响应中的 HTTP 201 状态码 PR
• Perplexity：修复不正确的流式传输响应 PR
• Triton：修复流式完成错误 PR
• Deepgram：在处理音频文件进行转录时支持 bytes.IO PR
• Ollama：修复“system”角色变得不可接受的问题 PR
• 所有提供商（流式传输）：修复流式响应中从整个内容中剥离字符串 data: 的问题 PR

支出追踪改进​

1. 支持 Bedrock converse 缓存令牌追踪 入门
2. Responses API 成本追踪 入门
3. 修复 Azure Whisper 成本追踪问题 入门

UI​

在 UI 上复用凭据​

您现在可以在 LiteLLM UI 上载入 LLM 提供商凭据。添加这些凭据后，您可以在添加新模型时复用它们 入门

在添加模型之前测试连接​

在添加模型之前，您可以测试与 LLM 提供商的连接，以验证您是否已正确设置 API Base + API Key

通用 UI 改进​

1. 添加模型页面
   • 在管理 UI 上允许添加 Cerebras, Sambanova, Perplexity, Fireworks, Openrouter, TogetherAI 模型，文本补全 OpenAI
   • 允许添加欧洲 OpenAI 模型
   • 修复：即时显示模型的编辑 + 删除操作
2. 密钥页面
   • 修复：在管理 UI 上即时显示新创建的密钥（无需刷新）
   • 修复：在显示用户的 Top API Key 时，允许点击进入 Top Keys
   • 修复：允许按团队别名、密钥别名和组织过滤密钥
   • UI 改进：每页显示 100 个密钥，使用全高，增加密钥别名的宽度
3. 用户页面
   • 修复：在用户页面上显示正确的内部用户密钥计数
   • 修复：元数据在团队 UI 中未更新
4. 日志页面
   • UI 改进：在 LiteLLM UI 上保持展开的日志处于焦点
   • UI 改进：日志页面的一些小改进
   • 修复：允许内部用户查询自己的日志
   • 允许关闭将错误日志存储在数据库中 入门
5. 登录/退出
   • 修复：设置时正确使用 PROXY_LOGOUT_URL 入门

安全​

1. 支持主密钥轮换 入门
2. 修复：内部用户查看者权限，不允许 internal_user_viewer 角色看到“测试密钥页面”或“创建密钥按钮” 关于基于角色的访问控制的更多信息
3. 在所有用户 + 模型创建/更新/删除端点上发出审计日志 入门
4. JWT
   • 支持多个 JWT OIDC 提供商 入门
   • 修复当团队被分配“所有代理模型”访问权限时，通过组进行的 JWT 访问不起作用的问题
5. 在一个 AWS Secret 中使用 K/V 对 入门

日志集成​

1. Prometheus：追踪 Azure LLM API 延迟指标 入门
2. Athina：将 tags、user_feedback 和 model_options 添加到可发送到 Athina 的 additional_keys 中 入门

性能 / 可靠性改进​

1. Redis + litellm 路由器 - 修复 litellm 路由器的 Redis 集群模式问题 PR

通用改进​

1. OpenWebUI 集成 - 显示思考令牌

• LiteLLM x OpenWebUI 入门指南。 入门
• 在 OpenWebUI 上显示思考令牌（Bedrock, Anthropic, Deepseek） 入门

完整 Git Diff​

这是完整的 git diff