2 条标记为 "凭证管理" 的帖子

以下是自 v1.63.11-stable 以来的更改。

本次发布带来

• LLM 翻译改进 (MCP 支持和 Bedrock 应用配置文件)
• 基于用量的路由性能提升
• 通过 websockets 支持流式传输防护
• Azure OpenAI 客户端性能修复 (来自之前的版本)

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.14-stable.patch1

演示实例​

这里有一个演示实例用于测试更改

• 实例: https://demo.litellm.ai/
• 登录凭证
  • 用户名: admin
  • 密码: sk-1234

新增模型 / 更新模型​

• Azure gpt-4o - 将定价固定到最新的全球定价 - PR
• O1-Pro - 添加定价 + 模型信息 - PR
• Azure AI - 添加 mistral 3.1 small 定价 - PR
• Azure - 添加 gpt-4.5-preview 定价 - PR

LLM 翻译​

1. 新的 LLM 功能

• Bedrock: 支持 bedrock 应用推理配置文件 文档
  • 从 bedrock 应用配置文件 ID 推断 aws 区域 - (arn:aws:bedrock:us-east-1:...)
• Ollama - 支持通过 /v1/completions 调用 快速开始
• Bedrock - 支持 us.deepseek.r1-v1:0 模型名称 文档
• OpenRouter - 支持 OPENROUTER_API_BASE 环境变量 文档
• Azure - 添加音频模型参数支持 - 文档
• OpenAI - 支持 PDF 文件 文档
• OpenAI - o1-pro Responses API 流式传输支持 文档
• [测试版]MCP - 使用 LiteLLM SDK 的 MCP 工具 文档

2. 错误修复

• Voyage: 嵌入跟踪提示 token 修复 - PR
• Sagemaker - 修复 ‘Too little data for declared Content-Length’ 错误 - PR
• OpenAI 兼容模型 - 修复调用设置了 custom_llm_provider 的 openai 兼容模型时出现的问题 - PR
• VertexAI - 嵌入 ‘outputDimensionality’ 支持 - PR
• Anthropic - 在流式传输/非流式传输时返回一致的 json 响应格式 - PR

支出跟踪改进​

• litellm_proxy/ - 支持从代理读取 litellm 响应成本 header，在使用客户端 sdk 时
• 重置预算任务 - 修复 keys/teams/users 上的预算重置错误 PR
• 流式传输 - 防止带有用量的最终块被忽略 (影响 bedrock 流式传输 + 成本跟踪) PR

UI​

1. 用户页面
   • 功能: 控制默认内部用户设置 PR
2. 图标
   • 功能: 将外部 "artificialanalysis.ai" 图标替换为本地 svg PR
3. 登录/注销
   • 修复: 当 default_user_id 用户不存在于 DB 中时，默认登录 PR

日志集成​

• 支持流式响应的调用后防护 快速开始
• Arize 快速开始
  • 修复无效的包导入 PR
  • 迁移到使用 standardloggingpayload 进行元数据记录，确保 spans 成功落地 PR
  • 修复日志记录，仅记录 LLM I/O PR
  • 动态 API Key/Space 参数支持 快速开始
• StandardLoggingPayload - 在 payload 中记录 litellm_model_name。允许了解发送给 API 提供商的模型是什么 快速开始
• Prompt Management - 允许构建自定义 prompt 管理集成 快速开始

性能/可靠性改进​

• Redis Caching - 添加 5 秒默认超时，防止挂起的 redis 连接影响 llm 调用 PR
• 允许禁用所有支出更新/写入 DB - 补丁以允许使用标志禁用所有支出更新到 DB PR
• Azure OpenAI - 正确地重用 azure openai 客户端，修复之前 Stable 版本中的性能问题 PR
• Azure OpenAI - 在 Azure/OpenAI 客户端上使用 litellm.ssl_verify PR
• 基于用量的路由 - 通配符模型支持 快速开始
• 基于用量的路由 - 支持批量写入增量到 redis - 将延迟降低到与 ‘simple-shuffle’ 相同 PR
• 路由器 - 在出现 ‘no healthy deployments available error’ 时显示模型冷却原因 PR
• 缓存 - 对内存缓存中的项目添加最大值限制 (1MB) - 防止大型图像 URL 通过代理发送时出现 OOM 错误 PR

通用改进​

• Passthrough Endpoints - 在 passthrough endpoints 的响应头中支持返回 api-base 文档
• SSL - 支持从环境变量读取 ssl 安全级别 - 允许用户指定较低的安全设置 快速开始
• 凭证 - 仅当 STORE_MODEL_IN_DB 为 True 时才轮询 Credentials 表 PR
• 图像 URL 处理 - 关于图像 URL 处理的新架构文档 文档
• OpenAI - 升级到 pip install "openai==1.68.2" PR
• Gunicorn - 安全修复 - 升级 gunicorn==23.0.0 PR

完整的 Git Diff​

这是完整的 git diff

以下是自 v1.63.2-stable 以来的更改。

本次发布主要集中在

• [测试版]Responses API 支持
• Snowflake Cortex 支持，Amazon Nova 图像生成
• UI - 凭证管理，添加新模型时重用凭证
• UI - 添加模型前测试与 LLM Provider 的连接

已知问题​

• 🚨 Azure OpenAI 已知问题 - 如果您使用 Azure OpenAI，不建议升级。此版本未能通过我们的 Azure OpenAI 负载测试

Docker Run LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.11-stable

演示实例​

这里有一个演示实例用于测试更改

• 实例: https://demo.litellm.ai/
• 登录凭证
  • 用户名: admin
  • 密码: sk-1234

新增模型 / 更新模型​

• 支持 Amazon Nova Canvas 的图像生成 快速开始
• 添加 Jamba 新模型的定价 PR
• 添加 Amazon EU 模型的定价 PR
• 添加 Bedrock Deepseek R1 模型定价 PR
• 更新 Gemini 定价: Gemma 3, Flash 2 thinking update, LearnLM PR
• 将 Cohere Embedding 3 模型标记为多模态 PR
• 添加 Azure Data Zone 定价 PR
  • LiteLLM 跟踪 azure/eu 和 azure/us 模型的成本

LLM 翻译​

1. 新端点

• [测试版]POST /responses API. 快速开始

2. 新的 LLM 提供商

• Snowflake Cortex 快速开始

3. 新的 LLM 功能

• 支持 OpenRouter reasoning_content 流式传输 快速开始

4. 错误修复

• OpenAI: 在 bad request error 中返回 code, param 和 type 更多关于 litellm 异常的信息
• Bedrock: 修复 converse chunk parsing，仅在工具使用时返回空字典 PR
• Bedrock: 支持 extra_headers PR
• Azure: 修复函数调用 Bug & 更新默认 API 版本到 2025-02-01-preview PR
• Azure: 修复 AI services URL PR
• Vertex AI: 处理响应中的 HTTP 201 状态码 PR
• Perplexity: 修复不正确的流式响应 PR
• Triton: 修复流式 completions bug PR
• Deepgram: 处理音频文件进行转录时支持 bytes.IO PR
• Ollama: 修复 "system" role 已不再接受 PR
• 所有提供商 (流式传输): 修复流式响应中从整个内容中剥离字符串 data: 的问题 PR

支出跟踪改进​

1. 支持 Bedrock converse cache token 跟踪 快速开始
2. Responses API 成本跟踪 快速开始
3. 修复 Azure Whisper 成本跟踪 快速开始

UI​

在 UI 上重用凭证​

您现在可以在 LiteLLM UI 上载入 LLM provider 凭证。一旦添加了这些凭证，您就可以在添加新模型时重用它们 快速开始

添加模型前测试连接​

在添加模型之前，您可以测试与 LLM 提供商的连接，以验证您是否已正确设置 API Base + API Key

通用 UI 改进​

1. 添加模型页面
   • 允许在 Admin UI 上添加 Cerebras, Sambanova, Perplexity, Fireworks, Openrouter, TogetherAI Models, Text-Completion OpenAI
   • 允许添加 EU OpenAI 模型
   • 修复: 即时显示模型的编辑 + 删除
2. Key 页面
   • 修复: 在 Admin UI 上即时显示新创建的 key (无需刷新)
   • 修复: 当显示用户 Top API Key 时，允许点击进入 Top Keys
   • 修复: 允许按团队别名、Key 别名和组织过滤 Keys
   • UI 改进: 每页显示 100 个 Keys，使用全高，增加 Key 别名宽度
3. 用户页面
   • 修复: 在用户页面上显示正确的内部用户 Key 计数
   • 修复: 元数据未在团队 UI 中更新
4. 日志页面
   • UI 改进: 在 LiteLLM UI 上保持展开的日志聚焦
   • UI 改进: 日志页面的细微改进
   • 修复: 允许内部用户查询他们自己的日志
   • 允许关闭在 DB 中存储错误日志 快速开始
5. 登录/注销
   • 修复: 正确使用设置的 PROXY_LOGOUT_URL 快速开始

安全​

1. 支持主密钥轮换 快速开始
2. 修复: 内部用户查看者权限，不允许 internal_user_viewer 角色查看 Test Key Page 或 Create Key Button 更多关于基于角色的访问控制的信息
3. 在所有用户 + 模型创建/更新/删除端点上发出审计日志 快速开始
4. JWT
   • 支持多个 JWT OIDC provider 快速开始
   • 修复当团队被分配所有 Proxy Models 访问权限时，带有 Groups 的 JWT 访问不起作用的问题
5. 在 1 个 AWS Secret 中使用 K/V 对 快速开始

日志集成​

1. Prometheus: 跟踪 Azure LLM API 延迟指标 快速开始
2. Athina: 将 tags, user_feedback 和 model_options 添加到可以发送给 Athina 的 additional_keys 快速开始

性能/可靠性改进​

1. Redis + litellm router - 修复 litellm router 的 Redis 集群模式 PR

通用改进​

1. OpenWebUI 集成 - 显示 thinking token

• LiteLLM x OpenWebUI 快速入门指南。 快速开始
• 在 OpenWebUI 上显示 thinking token (Bedrock, Anthropic, Deepseek) 快速开始

完整的 Git Diff​

这是完整的 git diff