跳到主要内容

v1.63.11-stable

Krrish Dholakia
Ishaan Jaffer

这是自 v1.63.2-stable 以来的变化。

此版本主要侧重于

  • [Beta]支持 Responses API
  • 支持 Snowflake Cortex, Amazon Nova 图像生成
  • UI - 凭据管理，在添加新模型时复用凭据
  • UI - 在添加模型前测试与 LLM 提供商的连接

已知问题​

  • 🚨 Azure OpenAI 已知问题 - 如果您使用 Azure OpenAI，不建议升级。此版本未能通过我们的 Azure OpenAI 负载测试。

Docker 运行 LiteLLM 代理​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.11-stable

演示实例​

这里有一个演示实例供您测试更改

新增/更新的模型​

  • 支持 Amazon Nova Canvas 图像生成 入门
  • 添加 Jamba 新模型的定价 PR
  • 添加 Amazon 欧洲区模型的定价 PR
  • 添加 Bedrock Deepseek R1 模型定价 PR
  • 更新 Gemini 定价：Gemma 3, Flash 2 思考更新, LearnLM PR
  • 将 Cohere Embedding 3 模型标记为多模态 PR
  • 添加 Azure Data Zone 定价 PR
    • LiteLLM 追踪 azure/eu 和 azure/us 模型的成本

LLM 翻译​

  1. 新增端点
  • [Beta]POST /responses API. 入门
  1. 新增 LLM 提供商
  1. 新增 LLM 功能
  • 在流式传输中支持 OpenRouter reasoning_content 入门
  1. Bug 修复
  • OpenAI：在错误请求错误时返回 code, param 和 type 更多关于 litellm 异常的信息
  • Bedrock：修复对话块解析，使其在工具使用时仅返回空字典 PR
  • Bedrock：支持 extra_headers PR
  • Azure：修复函数调用 Bug 并更新默认 API 版本至 2025-02-01-preview PR
  • Azure：修复 AI 服务 URL PR
  • Vertex AI：处理响应中的 HTTP 201 状态码 PR
  • Perplexity：修复不正确的流式响应 PR
  • Triton：修复流式补全 Bug PR
  • Deepgram：处理音频文件进行转录时支持 bytes.IO PR
  • Ollama：修复 "system" 角色不再被接受的问题 PR
  • 所有提供商（流式传输）：修复流式响应中 data: 字符串被从整个内容中移除的问题 PR

消费追踪改进​

  1. 支持 Bedrock 对话缓存 token 追踪 入门
  2. Responses API 成本追踪 入门
  3. 修复 Azure Whisper 成本追踪问题 入门

用户界面 (UI)​

在 UI 上复用凭据​

您现在可以在 LiteLLM UI 上载入 LLM 提供商凭据。一旦添加了这些凭据，您就可以在添加新模型时复用它们 入门

在添加模型前测试连接​

在添加模型前，您可以测试与 LLM 提供商的连接，以验证您是否正确设置了 API Base + API Key

一般 UI 改进​

  1. 添加模型页面
    • 在 Admin UI 上允许添加 Cerebras, Sambanova, Perplexity, Fireworks, Openrouter, TogetherAI 模型, 以及 Text-Completion OpenAI
    • 允许添加欧盟 OpenAI 模型
    • 修复：立即显示对模型的编辑 + 删除操作
  2. 密钥页面
    • 修复：在 Admin UI 上立即显示新创建的密钥（无需刷新）
    • 修复：在向用户显示 Top API Key 时，允许点击进入 Top Keys
    • 修复：允许按团队别名、密钥别名和组织过滤密钥
    • UI 改进：每页显示 100 个密钥，使用全高，增加密钥别名的宽度
  3. 用户页面
    • 修复：在用户页面上显示正确的内部用户密钥数量
    • 修复：团队 UI 中的元数据未更新问题
  4. 日志页面
    • UI 改进：在 LiteLLM UI 上保持展开的日志获得焦点
    • UI 改进：日志页面的小改进
    • 修复：允许内部用户查询他们自己的日志
    • 允许关闭将错误日志存储在数据库中 入门
  5. 登录/登出
    • 修复：设置时正确使用 PROXY_LOGOUT_URL 入门

安全性​

  1. 支持主密钥轮换 入门
  2. 修复：内部用户查看者权限，不允许 internal_user_viewer 角色看到 测试密钥页面 或 创建密钥按钮 更多关于基于角色的访问控制的信息
  3. 在所有用户 + 模型创建/更新/删除端点上发送审计日志 入门
  4. JWT
    • 支持多个 JWT OIDC 提供商 入门
    • 修复当团队被分配所有代理模型访问权限时，通过组进行 JWT 访问不起作用的问题
  5. 在一个 AWS Secret 中使用 K/V 对 入门

日志集成​

  1. Prometheus：追踪 Azure LLM API 延迟指标 入门
  2. Athina：将 tags, user_feedback 和 model_options 添加到 additional_keys，这些可以发送到 Athina 入门

性能/可靠性改进​

  1. Redis + litellm 路由器 - 修复 litellm 路由器的 Redis 集群模式问题 PR

一般改进​

  1. OpenWebUI 集成 - 显示 thinking token
  • LiteLLM x OpenWebUI 入门指南。 入门
  • 在 OpenWebUI 上显示 thinking token (Bedrock, Anthropic, Deepseek) 入门

完整 Git Diff​

这是完整的 git diff