3 篇标记为“claude-3-7-sonnet”的帖子

这些是自 v1.61.20-stable 以来的变化。

此版本主要侧重于

• LLM 翻译改进（更多 thinking 内容改进）
• UI 改进（现在 UI 上显示错误日志）

演示实例​

这是一个演示实例，用于测试变更

• 实例：https://demo.litellm.ai/
• 登录凭据
  • 用户名：admin
  • 密码：sk-1234

新模型/更新模型​

1. 为特定 Bedrock Claude 模型添加 supports_pdf_input PR
2. 添加 amazon eu 模型的定价 PR
3. 修复 Azure O1 mini 定价 PR

LLM 翻译​

1. 支持 Assistant 端点的 /openai/ 直通。 开始使用
2. Bedrock Claude - 修复 invoke 路由上的工具调用转换。 开始使用
3. Bedrock Claude - 支持 invoke 路由上的 claude 的 response_format。 开始使用
4. Bedrock - 如果在 response_format 中设置，则传递 description。 开始使用
5. Bedrock - 修复传递 response_format: {"type": "text"}。 PR
6. OpenAI - 处理将 image_url 作为 str 发送给 openai。 开始使用
7. Deepseek - 返回流式处理时缺失的 'reasoning_content'。 开始使用
8. 缓存 - 支持对 reasoning content 进行缓存。 开始使用
9. Bedrock - 处理 Assistant 消息中的 thinking 块。 开始使用
10. Anthropic - 在流式处理时返回 signature。 开始使用

• 注意：我们还从 signature_delta 迁移到 signature。 阅读更多

11. 支持 format 参数以指定图像类型。 开始使用
12. Anthropic - /v1/messages 端点 - 支持 thinking 参数。 开始使用

• 注意：这重构了[BETA]统一的 /v1/messages 端点，使其仅适用于 Anthropic API。

13. Vertex AI - 在调用 vertex ai 时处理响应 schema 中的 $id。 开始使用

消费跟踪改进​

1. Batches API - 修复在 retrieve_batch 上运行的成本计算。 开始使用
2. Batches API - 在消费日志/标准日志 payload 中记录 batch 模型。 开始使用

管理端点/UI​

1. 虚拟密钥页面
   • 允许在创建密钥页面搜索团队/组织过滤器
   • 向密钥表添加 created_by 和 updated_by 字段
   • 在密钥表中显示 'user_email'
   • 每页显示 100 个密钥，使用全高，增加密钥别名的宽度
2. 日志页面
   • 在 LiteLLM UI 上显示错误日志
   • 允许内部用户查看自己的日志
3. 内部用户页面
   • 允许管理员控制内部用户的默认模型访问权限
4. 修复使用 cookie 的会话处理

日志记录/安全防护集成​

1. 修复 prometheus 指标与自定义指标，当包含 team_id 的密钥发出请求时。 PR

性能/负载均衡/可靠性改进​

1. 冷却时间 - 支持客户端凭据调用的模型的冷却时间。 开始使用
2. 基于标签的路由 - 确保所有端点（/embeddings、/image_generation 等）都支持基于标签的路由。 开始使用

通用代理改进​

1. 当请求中传入未知模型时，抛出 BadRequestError
2. 在 Azure OpenAI 代理路由上强制执行模型访问限制
3. 可靠性修复 - 处理文本中的表情符号 - 修复 orjson 错误
4. 模型访问补丁 - 运行认证检查时，不要覆盖 litellm.anthropic_models
5. 启用在 docker 镜像中设置时区信息

完整 Git Diff​

这是完整的 git diff

v1.63.0 修复了 Anthropic 流式处理时 'thinking' 响应返回 signature 块的问题。 Github 问题

它还将响应结构从 signature_delta 移至 signature，使其与 Anthropic 保持一致。 Anthropic 文档

Diff​

"message": {
    ...
    "reasoning_content": "The capital of France is Paris.",
    "thinking_blocks": [
        {
            "type": "thinking",
            "thinking": "The capital of France is Paris.",
-            "signature_delta": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 OLD FORMAT
+            "signature": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 KEY CHANGE
        }
    ]
}

这些是自 v1.61.13-stable 以来的变化。

此版本主要侧重于

• LLM 翻译改进 (claude-3-7-sonnet + 支持 'thinking'/'reasoning_content')
• UI 改进（添加模型流程、用户管理等）

演示实例​

这是一个演示实例，用于测试变更

• 实例：https://demo.litellm.ai/
• 登录凭据
  • 用户名：admin
  • 密码：sk-1234

新模型/更新模型​

1. Anthropic 3-7 sonnet 支持 + 成本跟踪 (Anthropic API + Bedrock + Vertex AI + OpenRouter)
   1. Anthropic API 由此开始
   2. Bedrock API 由此开始
   3. Vertex AI API 参阅此处
   4. OpenRouter 参阅此处
2. Gpt-4.5-preview 支持 + 成本跟踪 参阅此处
3. Azure AI - Phi-4 成本跟踪 参阅此处
4. Claude-3.5-sonnet - Anthropic API 上更新的视觉支持 参阅此处
5. Bedrock llama 视觉支持 参阅此处
6. Cerebras llama3.3-70b 定价 参阅此处

LLM 翻译​

1. Infinity Rerank - 支持在 return_documents=True 时返回文档 由此开始
2. Amazon Deepseek - 将 <think> 参数提取到 ‘reasoning_content’ 由此开始
3. Amazon Titan Embeddings - 从请求体中过滤掉 ‘aws_’ 参数 由此开始
4. Anthropic ‘thinking’ + ‘reasoning_content’ 翻译支持 (Anthropic API, Bedrock, Vertex AI) 由此开始
5. VLLM - 支持 ‘video_url’ 由此开始
6. 通过 litellm SDK 调用代理：支持 litellm_proxy/ 用于 embeddings, image_generation, transcription, speech, rerank 由此开始
7. OpenAI 直通 - 允许在 /openai 直通路由上使用 Assistants GET, DELETE 由此开始
8. 消息翻译 - 如果助理消息缺少 role，修复 openai 消息 - openai 允许这种情况
9. O1/O3 - 支持 o3-mini 和 o1 的 parallel_tool_calls 参数的 ‘drop_params’ （目前不支持） 参阅此处

消费跟踪改进​

1. 通过 Bedrock 进行 rerank 的成本跟踪 参阅 PR
2. Anthropic 直通 - 修复导致成本无法跟踪的竞态条件 参阅 PR
3. Anthropic 直通：确保准确的 token 计数 参阅 PR

管理端点/UI​

1. 模型页面 - 允许按“创建时间”排序模型
2. 模型页面 - 编辑模型流程改进
3. 模型页面 - 修复在 UI 上添加 Azure、Azure AI Studio 模型的问题
4. 内部用户页面 - 允许在 UI 上批量添加内部用户
5. 内部用户页面 - 允许按“创建时间”排序用户
6. 虚拟密钥页面 - 在将用户分配给团队时，允许在下拉列表中搜索 UserID 参阅 PR
7. 虚拟密钥页面 - 允许在将密钥分配给用户时创建用户 参阅 PR
8. 模型中心页面 - 修复文本溢出问题 参阅 PR
9. 管理设置页面 - 允许在 UI 上添加 MSFT SSO
10. 后端 - 不允许在 DB 中创建重复的内部用户

Helm​

1. 支持迁移作业的 ttlSecondsAfterFinished - 参阅 PR
2. 通过额外的可配置属性增强迁移作业 - 参阅 PR

日志记录/安全防护集成​

1. Arize Phoenix 支持
2. ‘No-log’ - 修复 embedding 调用上的 ‘no-log’ 参数支持

性能/负载均衡/可靠性改进​

1. 单一部署冷却逻辑 - 如果设置了 allowed_fails 或 allowed_fail_policy，则使用它们 由此开始

通用代理改进​

1. Hypercorn - 修复读取/解析请求体
2. Windows - 修复在 Windows 中运行代理
3. DD-Trace - 修复在代理上启用 dd-trace

完整 Git Diff​

查看完整的 git diff 此处。