3篇标记为"llm translation"的帖子

以下是自 v1.61.20-stable 以来的变更。

本次发布主要侧重于：

• LLM 翻译改进（更多 thinking 内容改进）
• UI 改进（错误日志现在显示在 UI 上）

演示实例​

这里有一个演示实例用于测试变更

• 实例：https://demo.litellm.ai/
• 登录凭据
  • 用户名：admin
  • 密码：sk-1234

新增/更新模型​

1. 为特定的 Bedrock Claude 模型添加 supports_pdf_input PR
2. 添加 amazon eu 模型的定价 PR
3. 修复 Azure O1 mini 定价 PR

LLM 翻译​

1. 支持 Assistant 端的 /openai/ 直通。 开始使用
2. Bedrock Claude - 修复 invoke 路由上的工具调用转换。 开始使用
3. Bedrock Claude - 在 invoke 路由上支持 claude 的 response_format。 开始使用
4. Bedrock - 如果在 response_format 中设置了 description 则传递它。 开始使用
5. Bedrock - 修复传递 response_format: {"type": "text"}。 PR
6. OpenAI - 处理将 image_url 作为字符串发送给 openai。 开始使用
7. Deepseek - 返回流式处理中缺失的 'reasoning_content'。 开始使用
8. 缓存 - 支持对推理内容进行缓存。 开始使用
9. Bedrock - 处理助手消息中的 thinking 块。 开始使用
10. Anthropic - 在流式处理中返回 signature。 开始使用

• 注意：我们还从 signature_delta 迁移到了 signature。 阅读更多

11. 支持 format 参数以指定图像类型。 开始使用
12. Anthropic - /v1/messages 端点 - 支持 thinking 参数。 开始使用

• 注意：这重构了[测试版]统一的 /v1/messages 端点，使其仅适用于 Anthropic API。

13. Vertex AI - 调用 vertex ai 时处理响应 schema 中的 $id。 开始使用

支出跟踪改进​

1. 批处理 API - 修复在 retrieve_batch 上运行的成本计算。 开始使用
2. 批处理 API - 在支出日志/标准日志 payload 中记录批处理模型。 开始使用

管理端点 / UI​

1. 虚拟密钥页面
   • 允许在创建密钥页面搜索团队/组织筛选器
   • 向 Keys 表添加 created_by 和 updated_by 字段
   • 在 key 表上显示 'user_email'
   • 每页显示 100 个密钥，使用全高，增加 key alias 的宽度
2. 日志页面
   • 在 LiteLLM UI 上显示错误日志
   • 允许内部用户查看自己的日志
3. 内部用户页面
   • 允许管理员控制内部用户的默认模型访问权限
4. 修复使用 cookie 的会话处理

日志 / Guardrail 集成​

1. 使用自定义指标修复 prometheus 指标，当包含 team_id 的密钥发出请求时。 PR

性能 / 负载均衡 / 可靠性改进​

1. 冷却时间 - 支持使用客户端凭据调用的模型的冷却时间。 开始使用
2. 基于标签的路由 - 确保所有端点（/embeddings, /image_generation 等）的基于标签的路由。 开始使用

通用代理改进​

1. 当请求中传入未知模型时抛出 BadRequestError
2. 在 Azure OpenAI 代理路由上强制执行模型访问限制
3. 可靠性修复 - 处理文本中的表情符号 - 修复 orjson 错误
4. 模型访问补丁 - 在运行 auth 检查时不覆盖 litellm.anthropic_models
5. 在 docker 镜像中启用时区信息设置

完整的 Git Diff​

这是完整的 git diff

v1.63.0 修复了 Anthropic 'thinking' 响应在流式处理中返回 signature 块的问题。 Github Issue

它还将响应结构从 signature_delta 移动到 signature，使其与 Anthropic 保持一致。 Anthropic 文档

Diff​

"message": {
    ...
    "reasoning_content": "The capital of France is Paris.",
    "thinking_blocks": [
        {
            "type": "thinking",
            "thinking": "The capital of France is Paris.",
-            "signature_delta": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 OLD FORMAT
+            "signature": "EqoBCkgIARABGAIiQL2UoU0b1OHYi+..." # 👈 KEY CHANGE
        }
    ]
}

以下是自 v1.61.13-stable 以来的变更。

本次发布主要侧重于：

• LLM 翻译改进（支持 claude-3-7-sonnet + 'thinking'/'reasoning_content'）
• UI 改进（添加模型流程、用户管理等）

演示实例​

这里有一个演示实例用于测试变更

• 实例：https://demo.litellm.ai/
• 登录凭据
  • 用户名：admin
  • 密码：sk-1234

新增/更新模型​

1. 支持 Anthropic 3-7 sonnet + 成本跟踪 (Anthropic API + Bedrock + Vertex AI + OpenRouter)
   1. Anthropic API 从这里开始
   2. Bedrock API 从这里开始
   3. Vertex AI API 查看这里
   4. OpenRouter 查看这里
2. 支持 Gpt-4.5-preview + 成本跟踪 查看这里
3. Azure AI - Phi-4 成本跟踪 查看这里
4. Claude-3.5-sonnet - Anthropic API 上更新了视觉支持 查看这里
5. Bedrock llama 视觉支持 查看这里
6. Cerebras llama3.3-70b 定价 查看这里

LLM 翻译​

1. Infinity Rerank - 支持在 return_documents=True 时返回文档 从这里开始
2. Amazon Deepseek - 将 <think> 参数提取到 ‘reasoning_content’ 中 从这里开始
3. Amazon Titan Embeddings - 从请求体中过滤掉 ‘aws_’ 参数 从这里开始
4. Anthropic ‘thinking’ + ‘reasoning_content’ 翻译支持 (Anthropic API, Bedrock, Vertex AI) 从这里开始
5. VLLM - 支持 ‘video_url’ 从这里开始
6. 通过 litellm SDK 调用代理：支持 embedding, image_generation, transcription, speech, rerank 的 litellm_proxy/ 从这里开始
7. OpenAI 直通 - 允许在 /openai 直通路线上使用 Assistants GET, DELETE 从这里开始
8. 消息翻译 - 修复 assistant 消息的 openai 消息，如果 role 缺失 - openai 允许这样做
9. O1/O3 - 支持 o3-mini 和 o1 parallel_tool_calls 参数的 ‘drop_params’ (目前不支持) 查看这里

支出跟踪改进​

1. 通过 Bedrock 进行 rerank 的成本跟踪 查看 PR
2. Anthropic 直通 - 修复导致成本未跟踪的竞争条件 查看 PR
3. Anthropic 直通：确保准确的 token 计数 查看 PR

管理端点 / UI​

1. 模型页面 - 允许按“创建时间”对模型进行排序
2. 模型页面 - 编辑模型流程改进
3. 模型页面 - 修复在 UI 上添加 Azure, Azure AI Studio 模型的问题
4. 内部用户页面 - 允许在 UI 上批量添加内部用户
5. 内部用户页面 - 允许按“创建时间”对用户进行排序
6. 虚拟密钥页面 - 在将用户分配给团队时，允许在下拉列表中搜索用户 ID 查看 PR
7. 虚拟密钥页面 - 允许在为用户分配密钥时创建用户 查看 PR
8. 模型中心页面 - 修复文本溢出问题 查看 PR
9. 管理设置页面 - 允许在 UI 上添加 MSFT SSO
10. 后端 - 不允许在数据库中创建重复的内部用户

Helm​

1. 支持迁移作业的 ttlSecondsAfterFinished - 查看 PR
2. 通过附加可配置属性增强迁移作业 - 查看 PR

日志 / Guardrail 集成​

1. Arize Phoenix 支持
2. ‘No-log’ - 修复 embedding 调用上的 ‘no-log’ 参数支持

性能 / 负载均衡 / 可靠性改进​

1. 单一部署冷却逻辑 - 如果设置了 allowed_fails 或 allowed_fail_policy，则使用它们 从这里开始

通用代理改进​

1. Hypercorn - 修复读取/解析请求体
2. Windows - 修复在 Windows 中运行代理
3. DD-Trace - 修复代理上的 dd-trace 启用

完整的 Git Diff​

在此查看完整的 git diff。