跳到主要内容

v1.63.2-stable

Krrish Dholakia
Ishaan Jaffer

这些是自 v1.61.20-stable 以来的更改：

本次发布主要侧重于

  • LLM 翻译改进（更多 thinking 内容改进）
  • UI 改进（错误日志现在在 UI 上显示）
信息

本次发布将于 2025年03月09日 生效

演示实例​

这里有一个演示实例供测试更改

新模型 / 更新模型​

  1. 添加 supports_pdf_input 支持特定 Bedrock Claude 模型 PR
  2. 添加 amazon eu 模型的定价 PR
  3. 修复 Azure O1 mini 定价 PR

LLM 翻译​

  1. 支持 /openai/ 对 Assistant 端点进行透传。 开始使用
  2. Bedrock Claude - 修复 invoke 路由上的工具调用转换。 开始使用
  3. Bedrock Claude - 支持 invoke 路由上的 claude response_format。 开始使用
  4. Bedrock - 如果 response_format 中设置了 description，则传递。 开始使用
  5. Bedrock - 修复传递 response_format: {"type": "text"}。 PR
  6. OpenAI - 处理将 image_url 作为 str 发送到 openai。 开始使用
  7. Deepseek - 返回流式响应中缺失的 'reasoning_content'。 开始使用
  8. 缓存 - 支持对 reasoning content 进行缓存。 开始使用
  9. Bedrock - 处理 assistant 消息中的 thinking blocks。 开始使用
  10. Anthropic - 返回流式响应中的 signature。 开始使用
  • 注意：我们已从 signature_delta 迁移到 signature。 阅读更多
  1. 支持 format 参数用于指定图片类型。 开始使用
  2. Anthropic - /v1/messages 端点 - thinking 参数支持。 开始使用
  • 注意：这重构了[测试版]统一的 /v1/messages 端点，使其仅适用于 Anthropic API。
  1. Vertex AI - 处理调用 vertex ai 时响应 schema 中的 $id。 开始使用

支出追踪改进​

  1. Batches API - 修复在 retrieve_batch 上运行的成本计算。 开始使用
  2. Batches API - 在支出日志 / 标准日志 payload 中记录批量模型。 开始使用

管理端点 / UI​

  1. 虚拟密钥页面
    • 允许在创建密钥页面上搜索团队/组织筛选器
    • 为密钥表添加 created_by 和 updated_by 字段
    • 在密钥表上显示 'user_email'
    • 每页显示 100 个密钥，使用全高，增加密钥别名的宽度
  2. 日志页面
    • 在 LiteLLM UI 上显示错误日志
    • 允许内部用户查看自己的日志
  3. 内部用户页面
    • 允许管理员控制内部用户的默认模型访问权限
  4. 修复使用 cookie 的会话处理

日志记录 / Guardrail 集成​

  1. 修复 prometheus 指标及自定义指标，当包含 team_id 的密钥发出请求时。 PR

性能 / 负载均衡 / 可靠性改进​

  1. Cooldowns - 支持对使用客户端凭据调用的模型进行冷却。 开始使用
  2. 基于标签的路由 - 确保所有端点（/embeddings、/image_generation 等）都支持基于标签的路由。 开始使用

常规代理改进​

  1. 当请求中传递未知模型时抛出 BadRequestError
  2. 在 Azure OpenAI 代理路由上强制执行模型访问限制
  3. 可靠性修复 - 处理文本中的表情符号 - 修复 orjson 错误
  4. 模型访问补丁 - 在运行身份验证检查时不要覆盖 litellm.anthropic_models
  5. 启用在 docker 镜像中设置时区信息

完整 Git Diff​

这是完整的 git diff