这是自 v1.61.13-stable 以来的更改。
本次发布主要侧重于
- LLM 翻译改进 (支持 claude-3-7-sonnet + 'thinking'/'reasoning_content')
- UI 改进 (添加模型流程、用户管理等)
演示实例
这是一个演示实例用于测试更改
- 实例地址： https://demo.litellm.ai/
- 登录凭据
- 用户名： admin
- 密码： sk-1234
新模型 / 更新的模型
- 支持 Anthropic 3-7 sonnet + 成本跟踪 (Anthropic API + Bedrock + Vertex AI + OpenRouter)
- 支持 Gpt-4.5-preview + 成本跟踪 参见此处
- Azure AI - Phi-4 成本跟踪 参见此处
- Claude-3.5-sonnet - 在 Anthropic API 上视觉支持已更新 参见此处
- Bedrock llama 视觉支持 参见此处
- Cerebras llama3.3-70b 定价 参见此处
LLM 翻译
- Infinity Rerank - 支持当 return_documents=True 时返回文档 从这里开始
- Amazon Deepseek - 将
<think>参数提取到 ‘reasoning_content’ 从这里开始 - Amazon Titan Embeddings - 从请求体中过滤掉 ‘aws_’ 参数 从这里开始
- Anthropic ‘thinking’ + ‘reasoning_content’ 翻译支持 (Anthropic API, Bedrock, Vertex AI) 从这里开始
- VLLM - 支持 ‘video_url’ 从这里开始
- 通过 litellm SDK 调用代理： 支持
litellm_proxy/用于嵌入、图像生成、转录、语音、重排序 从这里开始 - OpenAI 直通 - 允许在 /openai 直通路由上使用 Assistants 的 GET, DELETE 方法 从这里开始
- 消息翻译 - 修复 openai 助手消息在角色缺失时的问题 - openai 允许这样做
- O1/O3 - 支持 o3-mini 和 o1 的 ‘drop_params’ 参数，以及 o1 的 parallel_tool_calls 参数 (当前不支持) 参见此处
消费跟踪改进
- 通过 Bedrock 进行 rerank 的成本跟踪 参见 PR
- Anthropic 直通 - 修复导致成本未被跟踪的竞态条件 参见 PR
- Anthropic 直通：确保准确的 Token 计数 参见 PR
管理端点 / UI
- 模型页面 - 允许按‘创建时间’排序模型
- 模型页面 - 编辑模型流程改进
- 模型页面 - 修复在 UI 上添加 Azure, Azure AI Studio 模型的问题
- 内部用户页面 - 允许在 UI 上批量添加内部用户
- 内部用户页面 - 允许按‘创建时间’排序用户
- 虚拟密钥页面 - 允许在将用户分配到团队时，在下拉菜单中搜索 UserIDs 参见 PR
- 虚拟密钥页面 - 允许在将密钥分配给用户时创建用户 参见 PR
- 模型中心页面 - 修复文本溢出问题 参见 PR
- 管理员设置页面 - 允许在 UI 上添加 MSFT SSO
- 后端 - 不允许在数据库中创建重复的内部用户
Helm
日志记录 / Guardrail 集成
- 支持 Arize Phoenix
- ‘No-log’ - 修复在 embedding 调用中对 ‘no-log’ 参数的支持
性能 / 负载均衡 / 可靠性改进
- 单一部署冷却逻辑 - 如果设置，则使用 allowed_fails 或 allowed_fail_policy 从这里开始
通用代理改进
- Hypercorn - 修复读取 / 解析请求体的问题
- Windows - 修复在 Windows 中运行代理的问题
- DD-Trace - 修复在代理上启用 dd-trace 的问题
完整的 Git Diff
查看完整的 git diff 此处。