2 个标有“thinking content”的帖子

这些是自 v1.63.11-stable 以来的更改。

此版本带来了

• LLM 翻译改进 (MCP 支持和 Bedrock 应用配置文件)
• 基于用量的路由的性能改进
• 通过 websockets 支持流式传输安全防护
• Azure OpenAI 客户端性能修复 (来自上一个版本)

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.14-stable.patch1

演示实例​

这里有一个演示实例用于测试更改

• 实例: https://demo.litellm.ai/
• 登录凭据
  • 用户名: admin
  • 密码: sk-1234

新模型 / 更新模型​

• Azure gpt-4o - 修复定价至最新全球定价 - PR
• O1-Pro - 添加定价 + 模型信息 - PR
• Azure AI - mistral 3.1 small 添加定价 - PR
• Azure - gpt-4.5-preview 添加定价 - PR

LLM 翻译​

1. 新的 LLM 功能

• Bedrock: 支持 bedrock 应用推理配置文件 文档
  • 从 bedrock 应用配置文件 ID 推断 aws 区域 - (arn:aws:bedrock:us-east-1:...)
• Ollama - 支持通过 /v1/completions 调用 开始使用
• Bedrock - 支持 us.deepseek.r1-v1:0 模型名称 文档
• OpenRouter - OPENROUTER_API_BASE 环境变量支持 文档
• Azure - 添加音频模型参数支持 - 文档
• OpenAI - PDF 文件支持 文档
• OpenAI - o1-pro Responses API 流式传输支持 文档
• [测试版]MCP - 在 LiteLLM SDK 中使用 MCP 工具 文档

2. Bug 修复

• Voyage: 嵌入跟踪修复中的 prompt token - PR
• Sagemaker - 修复“Content-Length 声称的数据过少”错误 - PR
• OpenAI 兼容模型 - 修复在设置 custom_llm_provider 时调用 OpenAI 兼容模型的问题 - PR
• VertexAI - 嵌入 'outputDimensionality' 支持 - PR
• Anthropic - 在流式传输/非流式传输时返回一致的 json 响应格式 - PR

支出跟踪改进​

• litellm_proxy/ - 当使用客户端 SDK 时，支持从代理读取 litellm 响应成本头部
• 重置预算任务 - 修复密钥/团队/用户上的预算重置错误 PR
• 流式传输 - 防止包含用量的最终块被忽略 (影响 bedrock 流式传输 + 成本跟踪) PR

UI​

1. 用户页面
   • 功能: 控制默认内部用户设置 PR
2. 图标
   • 功能: 用本地 svg 替换外部 "artificialanalysis.ai" 图标 PR
3. 登录/注销
   • 修复: 当 default_user_id 用户在 DB 中不存在时的默认登录 PR

日志集成​

• 支持流式传输响应的后置调用安全防护 开始使用
• Arize 开始使用
  • 修复无效的包导入 PR
  • 迁移到使用 standardloggingpayload 进行元数据记录，确保 spans 成功落地 PR
  • 修复日志记录，仅记录 LLM 输入/输出 PR
  • 动态 API Key/Space 参数支持 开始使用
• StandardLoggingPayload - 在 payload 中记录 litellm_model_name。允许知道发送给 API 提供商的模型名称 开始使用
• Prompt 管理 - 允许构建自定义 prompt 管理集成 开始使用

性能 / 可靠性改进​

• Redis 缓存 - 添加 5 秒默认超时，防止挂起的 redis 连接影响 llm 调用 PR
• 允许禁用所有支出更新/写入 DB - 补丁允许使用标志禁用所有支出更新到 DB PR
• Azure OpenAI - 正确重用 azure openai 客户端，修复上一个稳定版本中的性能问题 PR
• Azure OpenAI - 在 Azure/OpenAI 客户端上使用 litellm.ssl_verify PR
• 基于用量的路由 - 通配符模型支持 开始使用
• 基于用量的路由 - 支持批量写入增量到 redis - 将延迟降低到与 'simple-shuffle' 相同 PR
• 路由器 - 在“没有健康的部署可用错误”时显示模型冷却原因 PR
• 缓存 - 为内存缓存中的项添加最大值限制 (1MB) - 防止大型图像 url 通过代理发送时出现 OOM 错误 PR

常规改进​

• 直通端点 - 支持在直通端点响应头部中返回 api-base 文档
• SSL - 支持从环境变量读取 ssl 安全级别 - 允许用户指定较低的安全设置 开始使用
• 凭据 - 仅当 STORE_MODEL_IN_DB 为 True 时才轮询 Credentials 表 PR
• 图像 URL 处理 - 关于图像 URL 处理的新架构文档 文档
• OpenAI - 将 pip 安装 "openai==1.68.2" 提升 PR
• Gunicorn - 安全修复 - 将 gunicorn==23.0.0 提升 PR

完整 Git Diff​

这是完整的 git diff

这些是自 v1.63.2-stable 以来的更改。

此版本主要关注于

• [测试版]Responses API 支持
• Snowflake Cortex 支持, Amazon Nova 图像生成
• UI - 凭据管理，添加新模型时重用凭据
• UI - 在添加模型之前测试与 LLM 提供商的连接

已知问题​

• 🚨 Azure OpenAI 已知问题 - 如果您使用 Azure OpenAI，我们不建议升级。此版本未通过我们的 Azure OpenAI 负载测试

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.11-stable

演示实例​

这里有一个演示实例用于测试更改

• 实例: https://demo.litellm.ai/
• 登录凭据
  • 用户名: admin
  • 密码: sk-1234

新模型 / 更新模型​

• 支持 Amazon Nova Canvas 图像生成 开始使用
• 添加 Jamba 新模型的定价 PR
• 添加 Amazon EU 模型的定价 PR
• 添加 Bedrock Deepseek R1 模型的定价 PR
• 更新 Gemini 定价: Gemma 3, Flash 2 thinking 更新, LearnLM PR
• 将 Cohere Embedding 3 模型标记为多模态 PR
• 添加 Azure Data Zone 定价 PR
  • LiteLLM 跟踪 azure/eu 和 azure/us 模型的成本

LLM 翻译​

1. 新端点

• [测试版]POST /responses API. 开始使用

2. 新的 LLM 提供商

• Snowflake Cortex 开始使用

3. 新的 LLM 功能

• 支持 OpenRouter reasoning_content 在流式传输中 开始使用

4. Bug 修复

• OpenAI: 在 bad request 错误时返回 code, param 和 type 更多关于 litellm 异常的信息
• Bedrock: 修复 converse 块解析，仅在工具使用时返回空字典 PR
• Bedrock: 支持 extra_headers PR
• Azure: 修复 Function Calling Bug 并更新默认 API 版本到 2025-02-01-preview PR
• Azure: 修复 AI 服务 URL PR
• Vertex AI: 处理响应中的 HTTP 201 状态码 PR
• Perplexity: 修复不正确的流式传输响应 PR
• Triton: 修复流式传输 completions bug PR
• Deepgram: 处理用于转录的音频文件时支持 bytes.IO PR
• Ollama: 修复 "system" role 变得不可接受的问题 PR
• 所有提供商 (流式传输): 修复流式传输响应中整个 content 的 String data: 被移除的问题 PR

支出跟踪改进​

1. 支持 Bedrock converse 缓存 token 跟踪 开始使用
2. Responses API 的成本跟踪 开始使用
3. 修复 Azure Whisper 成本跟踪 开始使用

UI​

在 UI 上重用凭据​

您现在可以在 LiteLLM UI 上注册 LLM 提供商凭据。一旦这些凭据被添加，您可以在添加新模型时重用它们 开始使用

添加模型前测试连接​

在添加模型之前，您可以测试与 LLM 提供商的连接，以验证您的 API Base + API Key 设置是否正确

常规 UI 改进​

1. 添加模型页面
   • 允许在 Admin UI 上添加 Cerebras, Sambanova, Perplexity, Fireworks, Openrouter, TogetherAI 模型, Text-Completion OpenAI
   • 允许添加 EU OpenAI 模型
   • 修复: 即时显示模型的编辑 + 删除
2. 密钥页面
   • 修复: 在 Admin UI 上即时显示新创建的密钥 (无需刷新)
   • 修复: 在显示用户 Top API Key 时允许点击进入 Top Keys
   • 修复: 允许按 Team Alias, Key Alias 和 Org 过滤密钥
   • UI 改进: 每页显示 100 个密钥，使用全高，增加密钥别名的宽度
3. 用户页面
   • 修复: 在用户页面显示正确的内部用户密钥数量
   • 修复: Team UI 中的元数据未更新
4. 日志页面
   • UI 改进: 在 LiteLLM UI 上保持展开的日志焦点
   • UI 改进: 日志页面的 minor 改进
   • 修复: 允许内部用户查询他们自己的日志
   • 允许关闭在 DB 中存储错误日志 开始使用
5. 登录/注销
   • 修复: 设置时正确使用 PROXY_LOGOUT_URL 开始使用

安全​

1. 支持轮换主密钥 开始使用
2. 修复: 内部用户查看者权限，不允许 internal_user_viewer 角色查看 Test Key Page 或 Create Key Button 更多关于基于角色的访问控制信息
3. 在所有用户 + 模型创建/更新/删除端点上发出审计日志 开始使用
4. JWT
   • 支持多个 JWT OIDC 提供商 开始使用
   • 修复当团队被分配所有 Proxy Models 访问权限时，使用 Groups 的 JWT 访问不起作用的问题
5. 在 1 个 AWS Secret 中使用 K/V 对 开始使用

日志集成​

1. Prometheus: 跟踪 Azure LLM API 延迟指标 开始使用
2. Athina: 添加了 tags, user_feedback 和 model_options 到 additional_keys，可以发送到 Athina 开始使用

性能 / 可靠性改进​

1. Redis + litellm router - 修复 litellm router 的 Redis 集群模式 PR

常规改进​

1. OpenWebUI 集成 - 显示 thinking tokens

• LiteLLM x OpenWebUI 入门指南。 开始使用
• 在 OpenWebUI 上显示 thinking tokens (Bedrock, Anthropic, Deepseek) 开始使用

完整 Git Diff​

这是完整的 git diff