3 篇带有“reasoning_content”标签的文章

这些是自 v1.61.20-stable 以来发生的更改。

此版本主要侧重于

• LLM 翻译改进（更多 thinking 内容改进）
• UI 改进（错误日志现在在 UI 上显示）

演示实例​

这是一个用于测试更改的演示实例

• 实例: https://demo.litellm.ai/
• 登录凭据
  • 用户名: admin
  • 密码: sk-1234

新模型 / 更新的模型​

1. 为特定的 Bedrock Claude 模型添加 supports_pdf_input PR
2. 添加 amazon eu 模型的定价 PR
3. 修复 Azure O1 mini 定价 PR

LLM 翻译​

1. 支持 Assistant 端点的 /openai/ 直通。 开始使用
2. Bedrock Claude - 修复 invoke 路由上的工具调用转换。 开始使用
3. Bedrock Claude - 在 invoke 路由上支持 claude 的 response_format。 开始使用
4. Bedrock - 如果 response_format 中设置了 description，则传递它。 开始使用
5. Bedrock - 修复传递 response_format: {"type": "text"}。 PR
6. OpenAI - 处理将 image_url 作为 str 发送到 openai。 开始使用
7. Deepseek - 流式处理中缺少 'reasoning_content' 返回。 开始使用
8. 缓存 - 支持对 reasoning content 进行缓存。 开始使用
9. Bedrock - 处理助理消息中的 thinking 块。 开始使用
10. Anthropic - 在流式处理中返回 signature。 开始使用

• 注意: 我们已从 signature_delta 迁移到 signature。 阅读更多

11. 支持 format 参数用于指定图像类型。 开始使用
12. Anthropic - /v1/messages 端点 - 支持 thinking 参数。 开始使用

• 注意: 这重构了[BETA]统一的 /v1/messages 端点，使其仅适用于 Anthropic API。

13. Vertex AI - 调用 vertex ai 时处理响应模式中的 $id。 开始使用

支出跟踪改进​

1. Batches API - 修复在 retrieve_batch 上运行的成本计算。 开始使用
2. Batches API - 在支出日志/标准日志记录负载中记录批量模型。 开始使用

管理端点 / UI​

1. 虚拟密钥页面
   • 允许在创建密钥页面上搜索团队/组织过滤器
   • 向 Keys 表添加 created_by 和 updated_by 字段
   • 在密钥表上显示“user_email”
   • 每页显示 100 个密钥，使用全高，增加密钥别名的宽度
2. 日志页面
   • 在 LiteLLM UI 上显示错误日志
   • 允许内部用户查看自己的日志
3. 内部用户页面
   • 允许管理员控制内部用户的默认模型访问权限
4. 修复使用 cookie 的会话处理

日志记录 / 防护集成​

1. 修复 Prometheus 指标与自定义指标，当包含 team_id 的密钥发出请求时。 PR

性能 / 负载均衡 / 可靠性改进​

1. 冷却时间 - 支持对使用客户端凭据调用的模型设置冷却时间。 开始使用
2. 基于标签的路由 - 确保所有端点（/embeddings, /image_generation 等）上的基于标签的路由。 开始使用

通用代理改进​

1. 当请求中传递未知模型时，引发 BadRequestError
2. 在 Azure OpenAI 代理路由上强制执行模型访问限制
3. 可靠性修复 - 处理文本中的 emoji - 修复 orjson 错误
4. 模型访问补丁 - 运行身份验证检查时，不要覆盖 litellm.anthropic_models
5. 启用在 docker 镜像中设置时区信息

完整的 Git Diff​

这是完整的 git diff

v1.63.0 修复了 Anthropic 'thinking' 响应在流式处理时返回 signature 块的问题。 Github Issue

它还将响应结构从 signature_delta 迁移到 signature，使其与 Anthropic 一致。 Anthropic Docs

Diff​

"message": {
    ...
    "reasoning_content": "The capital of France is Paris.",
    "thinking_blocks": [
        {
            "type": "thinking",
            "thinking": "The capital of France is Paris.",
-            "signature_delta": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 OLD FORMAT
+            "signature": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 KEY CHANGE
        }
    ]
}

这些是自 v1.61.13-stable 以来发生的更改。

此版本主要侧重于

• LLM 翻译改进（claude-3-7-sonnet + 'thinking'/'reasoning_content' 支持）
• UI 改进（添加模型流程、用户管理等）

演示实例​

这是一个用于测试更改的演示实例

• 实例: https://demo.litellm.ai/
• 登录凭据
  • 用户名: admin
  • 密码: sk-1234

新模型 / 更新的模型​

1. Anthropic 3-7 sonnet 支持 + 成本跟踪 (Anthropic API + Bedrock + Vertex AI + OpenRouter)
   1. Anthropic API 从这里开始
   2. Bedrock API 从这里开始
   3. Vertex AI API 请看这里
   4. OpenRouter 请看这里
2. Gpt-4.5-preview 支持 + 成本跟踪 请看这里
3. Azure AI - Phi-4 成本跟踪 请看这里
4. Claude-3.5-sonnet - Anthropic API 上的视觉支持已更新 请看这里
5. Bedrock llama 视觉支持 请看这里
6. Cerebras llama3.3-70b 定价 请看这里

LLM 翻译​

1. Infinity Rerank - 当 return_documents=True 时支持返回文档 从这里开始
2. Amazon Deepseek - 将 <think> 参数提取到 ‘reasoning_content’ 中 从这里开始
3. Amazon Titan Embeddings - 从请求正文中过滤掉 ‘aws_’ 参数 从这里开始
4. Anthropic ‘thinking’ + ‘reasoning_content’ 翻译支持 (Anthropic API, Bedrock, Vertex AI) 从这里开始
5. VLLM - 支持 ‘video_url’ 从这里开始
6. 通过 litellm SDK 调用代理: 支持用于 embedding, image_generation, transcription, speech, rerank 的 litellm_proxy/ 从这里开始
7. OpenAI 直通 - 允许在 /openai 直通路由上使用 Assistants GET, DELETE 从这里开始
8. 消息翻译 - 如果 assistant msg 缺少 role，则修复 openai 消息 - openai 允许这种情况
9. O1/O3 - 支持 o3-mini 和 o1 的 ‘drop_params’ parallel_tool_calls 参数（目前不支持） 请看这里

支出跟踪改进​

1. 通过 Bedrock 跟踪 rerank 的成本 请看 PR
2. Anthropic 直通 - 修复导致成本无法跟踪的竞态条件 请看 PR
3. Anthropic 直通: 确保准确的 token 计数 请看 PR

管理端点 / UI​

1. 模型页面 - 允许按“创建时间”对模型进行排序
2. 模型页面 - 编辑模型流程改进
3. 模型页面 - 修复在 UI 上添加 Azure、Azure AI Studio 模型的问题
4. 内部用户页面 - 允许在 UI 上批量添加内部用户
5. 内部用户页面 - 允许按“创建时间”对用户进行排序
6. 虚拟密钥页面 - 将用户分配给团队时，允许在下拉列表中搜索 UserIDs 请看 PR
7. 虚拟密钥页面 - 允许在将密钥分配给用户时创建用户 请看 PR
8. 模型中心页面 - 修复文本溢出问题 请看 PR
9. 管理员设置页面 - 允许在 UI 上添加 MSFT SSO
10. 后端 - 不允许在数据库中创建重复的内部用户

Helm​

1. 支持迁移作业上的 ttlSecondsAfterFinished - 请看 PR
2. 增强迁移作业，增加可配置属性 - 请看 PR

日志记录 / 防护集成​

1. Arize Phoenix 支持
2. ‘No-log’ - 修复 embedding 调用上的 ‘no-log’ 参数支持

性能 / 负载均衡 / 可靠性改进​

1. 单部署冷却逻辑 - 如果设置了 allowed_fails 或 allowed_fail_policy，则使用它们 从这里开始

通用代理改进​

1. Hypercorn - 修复读取/解析请求体的问题
2. Windows - 修复在 windows 中运行代理的问题
3. DD-Trace - 修复代理上的 dd-trace 启用问题

完整的 Git Diff​

查看完整的 git diff 这里。