3篇标记为“思考”的帖子

这是自 v1.61.20-stable 以来的变更。

本次发布主要集中在

• LLM 翻译改进（更多思考内容的改进）
• UI 改进（错误日志现在在 UI 上显示）

演示实例​

这是一个用于测试变更的演示实例

• 实例: https://demo.litellm.ai/
• 登录凭据
  • 用户名: admin
  • 密码: sk-1234

新增/更新模型​

1. 为特定 Bedrock Claude 模型添加 supports_pdf_input PR
2. 添加亚马逊 eu 模型的定价 PR
3. 修复 Azure O1 mini 定价 PR

LLM 翻译​

1. 支持 /openai/ 用于助手端点的直通。 开始使用
2. Bedrock Claude - 修复 invoke 路由上的工具调用转换。 开始使用
3. Bedrock Claude - invoke 路由上的 claude 支持 response_format。 开始使用
4. Bedrock - 如果在 response_format 中设置，则传递 description。 开始使用
5. Bedrock - 修复传递 response_format: {"type": "text"}。 PR
6. OpenAI - 处理将 image_url 作为字符串发送给 openai。 开始使用
7. Deepseek - 返回流式传输中缺失的 'reasoning_content'。 开始使用
8. 缓存 - 支持对 reasoning content 进行缓存。 开始使用
9. Bedrock - 处理助手消息中的 thinking 块。 开始使用
10. Anthropic - 在流式传输中返回 signature。 开始使用

• 注意：我们已从 signature_delta 迁移到 signature。 阅读更多

11. 支持 format 参数指定图像类型。 开始使用
12. Anthropic - /v1/messages 端点 - 支持 thinking 参数。 开始使用

• 注意：这重构了[BETA]统一的 /v1/messages 端点，使其仅适用于 Anthropic API。

13. Vertex AI - 调用 vertex ai 时处理响应 schema 中的 $id。 开始使用

支出跟踪改进​

1. 批处理 API - 修复在 retrieve_batch 上运行的成本计算。 开始使用
2. 批处理 API - 在支出日志 / 标准日志负载中记录批处理模型。 开始使用

管理端点 / UI​

1. 虚拟密钥页面
   • 允许在创建密钥页面上搜索团队/组织过滤器
   • 将 created_by 和 updated_by 字段添加到密钥表
   • 在密钥表上显示 'user_email'
   • 每页显示 100 个密钥，使用全高，增加密钥别名的宽度
2. 日志页面
   • 在 LiteLLM UI 上显示错误日志
   • 允许内部用户查看自己的日志
3. 内部用户页面
   • 允许管理员控制内部用户的默认模型访问权限
4. 修复使用 cookies 的会话处理

日志记录 / 安全防护集成​

1. 修复当包含 team_id 的密钥发出请求时，带有自定义指标的 prometheus 指标。 PR

性能 / 负载均衡 / 可靠性改进​

1. 冷却 - 支持使用客户端凭据调用的模型的冷却功能。 开始使用
2. 基于标签的路由 - 确保在所有端点（/embeddings, /image_generation 等）上实现基于标签的路由。 开始使用

通用代理改进​

1. 当请求中传入未知模型时，抛出 BadRequestError
2. 在 Azure OpenAI 代理路由上强制执行模型访问限制
3. 可靠性修复 - 处理文本中的表情符号 - 修复 orjson 错误
4. 模型访问补丁 - 运行认证检查时不要覆盖 litellm.anthropic_models
5. 在 docker 镜像中启用时区信息设置

完整的 Git Diff​

这里是完整的 git diff

v1.63.0 修复了 Anthropic 在流式传输中的 'thinking' 响应以返回 signature 块。 Github Issue

它还将响应结构从 signature_delta 更改为 signature，使其与 Anthropic 一致。 Anthropic 文档

Diff​

"message": {
    ...
    "reasoning_content": "The capital of France is Paris.",
    "thinking_blocks": [
        {
            "type": "thinking",
            "thinking": "The capital of France is Paris.",
-            "signature_delta": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 OLD FORMAT
+            "signature": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 KEY CHANGE
        }
    ]
}

这是自 v1.61.13-stable 以来的变更。

本次发布主要集中在

• LLM 翻译改进（支持 claude-3-7-sonnet + 'thinking'/'reasoning_content'）
• UI 改进（添加模型流程、用户管理等）

演示实例​

这是一个用于测试变更的演示实例

• 实例: https://demo.litellm.ai/
• 登录凭据
  • 用户名: admin
  • 密码: sk-1234

新增/更新模型​

1. Anthropic 3-7 sonnet 支持 + 成本跟踪 (Anthropic API + Bedrock + Vertex AI + OpenRouter)
   1. Anthropic API 从这里开始
   2. Bedrock API 从这里开始
   3. Vertex AI API 在这里查看
   4. OpenRouter 在这里查看
2. Gpt-4.5-preview 支持 + 成本跟踪 在这里查看
3. Azure AI - Phi-4 成本跟踪 在这里查看
4. Claude-3.5-sonnet - 在 Anthropic API 上更新了视觉支持 在这里查看
5. Bedrock llama 视觉支持 在这里查看
6. Cerebras llama3.3-70b 定价 在这里查看

LLM 翻译​

1. Infinity Rerank - 当 return_documents=True 时支持返回文档 从这里开始
2. Amazon Deepseek - 将 <think> 参数提取到 ‘reasoning_content’ 中 从这里开始
3. Amazon Titan Embeddings - 从请求体中过滤掉 ‘aws_’ 参数 从这里开始
4. Anthropic ‘thinking’ + ‘reasoning_content’ 翻译支持 (Anthropic API, Bedrock, Vertex AI) 从这里开始
5. VLLM - 支持 ‘video_url’ 从这里开始
6. 通过 litellm SDK 调用代理：支持 litellm_proxy/ 用于嵌入、图像生成、转录、语音、rerank 从这里开始
7. OpenAI 直通 - 允许在 /openai 直通路由上使用助手的 GET, DELETE 从这里开始
8. 消息翻译 - 修复助手消息中角色缺失时的 openai 消息 - openai 允许这样做
9. O1/O3 - 支持 o3-mini 和 o1 的 ‘drop_params’ 参数以及 parallel_tool_calls 参数（目前不支持） 在这里查看

支出跟踪改进​

1. 通过 Bedrock 进行 rerank 的成本跟踪 查看 PR
2. Anthropic 直通 - 修复导致成本未被跟踪的竞态条件 查看 PR
3. Anthropic 直通：确保准确的 token 计数 查看 PR

管理端点 / UI​

1. 模型页面 - 允许按“创建时间”对模型进行排序
2. 模型页面 - 编辑模型流程改进
3. 模型页面 - 修复在 UI 上添加 Azure、Azure AI Studio 模型的问题
4. 内部用户页面 - 允许在 UI 上批量添加内部用户
5. 内部用户页面 - 允许按“创建时间”对用户进行排序
6. 虚拟密钥页面 - 在将用户分配给团队时，允许在下拉列表中搜索 UserIDs 查看 PR
7. 虚拟密钥页面 - 在将密钥分配给用户时，允许创建用户 查看 PR
8. 模型中心页面 - 修复文本溢出问题 查看 PR
9. 管理设置页面 - 允许在 UI 上添加 MSFT SSO
10. 后端 - 不允许在数据库中创建重复的内部用户

Helm​

1. 支持迁移作业中的 ttlSecondsAfterFinished - 查看 PR
2. 使用额外的可配置属性增强迁移作业 - 查看 PR

日志记录 / 安全防护集成​

1. Arize Phoenix 支持
2. ‘无日志’ - 修复嵌入调用中的 ‘无日志’ 参数支持

性能 / 负载均衡 / 可靠性改进​

1. 单个部署冷却逻辑 - 如果设置了 allowed_fails 或 allowed_fail_policy，则使用它们 从这里开始

通用代理改进​

1. Hypercorn - 修复请求体的读取 / 解析
2. Windows - 修复在 windows 中运行代理的问题
3. DD-Trace - 修复在代理上启用 dd-trace 的问题

完整的 Git Diff​

在此处查看完整的 git diff here。