这些是自 v1.61.13-stable 以来的更改。
此版本主要侧重于
- LLM 翻译改进 (支持 claude-3-7-sonnet + 'thinking'/'reasoning_content')
- UI 改进（添加模型流程、用户管理等）
演示实例
这是一个用于测试更改的演示实例
- 实例: https://demo.litellm.ai/
- 登录凭据
- 用户名: admin
- 密码: sk-1234
新模型 / 更新的模型
- 支持 Anthropic 3-7 sonnet + 成本跟踪 (Anthropic API + Bedrock + Vertex AI + OpenRouter)
- 支持 Gpt-4.5-preview + 成本跟踪 查看这里
- Azure AI - Phi-4 成本跟踪 查看这里
- Claude-3.5-sonnet - Anthropic API 上的视觉支持已更新 查看这里
- Bedrock llama 视觉支持 查看这里
- Cerebras llama3.3-70b 定价 查看这里
LLM 翻译
- Infinity Rerank - 在 return_documents=True 时支持返回文档 从这里开始
- Amazon Deepseek - 将
<think>参数提取到 ‘reasoning_content’ 中 从这里开始 - Amazon Titan Embeddings - 从请求体中过滤掉 ‘aws_’ 参数 从这里开始
- Anthropic ‘thinking’ + ‘reasoning_content’ 翻译支持 (Anthropic API, Bedrock, Vertex AI) 从这里开始
- VLLM - 支持 ‘video_url’ 从这里开始
- 通过 litellm SDK 调用代理：支持
litellm_proxy/用于 embedding, image_generation, transcription, speech, rerank 从这里开始 - OpenAI Pass-through - 允许在 /openai pass through 路由上使用 Assistants GET, DELETE 从这里开始
- 消息翻译 - 修复 openai 消息在缺少 role 时用于 assistant 消息 - openai 允许这样做
- O1/O3 - 支持 o3-mini 和 o1 的 ‘drop_params’ parallel_tool_calls 参数（目前不支持） 查看这里
消费跟踪改进
- 通过 Bedrock 进行 rerank 的成本跟踪 查看 PR
- Anthropic pass-through - 修复导致成本无法跟踪的竞争条件 查看 PR
- Anthropic pass-through: 确保准确的 token 计数 查看 PR
管理端点 / 用户界面
- 模型页面 - 允许按“创建时间”排序模型
- 模型页面 - 编辑模型流程改进
- 模型页面 - 修复在 UI 上添加 Azure, Azure AI Studio 模型的问题
- 内部用户页面 - 允许在 UI 上批量添加内部用户
- 内部用户页面 - 允许按“创建时间”排序用户
- 虚拟密钥页面 - 在将用户分配给团队时，允许在下拉列表中搜索 UserIDs 查看 PR
- 虚拟密钥页面 - 在将密钥分配给用户时，允许创建用户 查看 PR
- 模型中心页面 - 修复文本溢出问题 查看 PR
- 管理员设置页面 - 允许在 UI 上添加 MSFT SSO
- 后端 - 不允许在数据库中创建重复的内部用户
Helm
日志记录 / Guardrail 集成
- 支持 Arize Phoenix
- “无日志” - 修复 embedding 调用上对“无日志”参数的支持
性能 / 负载均衡 / 可靠性改进
- 单一部署冷却逻辑 - 如果设置了 allowed_fails 或 allowed_fail_policy，则使用它们 从这里开始
通用代理改进
- Hypercorn - 修复读取/解析请求体的问题
- Windows - 修复在 Windows 中运行代理的问题
- DD-Trace - 修复代理上的 dd-trace 启用问题
完整 Git Diff
查看完整 git diff 这里。