跳到主要内容

v1.59.8-stable

Krrish Dholakia
Ishaan Jaffer
信息

获取 LiteLLM 企业版 7 天免费试用：在此。

无需通话

新增/更新的模型​

  1. 新增 OpenAI /image/variations 端点 BETA 支持 文档
  2. OpenAI /image/variations BETA 端点上的 Topaz API 支持 文档
  3. Deepseek - 支持 r1 和 reasoning_content (Deepseek API, Vertex AI, Bedrock)
  4. Azure - 添加 azure o1 定价 查看此处
  5. Anthropic - 处理模型中的 -latest 标签以计算成本
  6. Gemini-2.0-flash-thinking - 添加模型定价（为 0.0） 查看此处
  7. Bedrock - 添加 stability sd3 模型定价 查看此处 (致谢 Marty Sullivan)
  8. Bedrock - 将 us.amazon.nova-lite-v1:0 添加到模型成本图 查看此处
  9. TogetherAI - 添加新的 together_ai llama3.3 模型 查看此处

LLM 翻译​

  1. LM Studio -> 修复异步嵌入调用
  2. Gpt 4o 模型 - 修复 response_format 翻译
  3. Bedrock nova - 扩展支持的文档类型，包括 .md、.csv 等 从此处开始
  4. Bedrock - 关于 Bedrock IAM 角色访问的文档 - 从此处开始
  5. Bedrock - 使用时缓存 IAM 角色凭证
  6. Google AI Studio (gemini/) - 支持 gemini 的 'frequency_penalty' 和 'presence_penalty'
  7. Azure O1 - 修复模型名称检查
  8. WatsonX - 支持 WatsonX 的 ZenAPIKey 文档
  9. Ollama Chat - 支持 json schema 响应格式 从此处开始
  10. Bedrock - 流式传输期间出错时返回正确的 Bedrock 状态码和错误消息
  11. Anthropic - 支持 Anthropic 调用的嵌套 json schema
  12. OpenAI - metadata 参数预览支持
    1. SDK - 通过以下方式启用 litellm.enable_preview_features = True
    2. PROXY - 通过以下方式启用 litellm_settings::enable_preview_features: true
  13. Replicate - 在 status=processing 时重试 completion 响应

支出跟踪改进​

  1. Bedrock - QA 断言所有 Bedrock 区域模型具有与基础模型相同的 supported_
  2. Bedrock - 修复 Bedrock Converse 成本跟踪，支持指定区域名称
  3. 支出日志可靠性修复 - 当 request body 中传递的 user 为 int 而非 string 时
  4. 确保 ‘base_model’ 成本跟踪在所有端点上均正常工作
  5. 图像生成成本跟踪的修复
  6. Anthropic - 修复 Anthropic 终端用户成本跟踪
  7. JWT / OIDC 认证 - 添加来自 jwt 认证的终端用户 ID 跟踪

管理端点 / UI​

  1. 允许团队成员添加后成为管理员（UI + 端点）
  2. 在 UI 上用于更新团队成员的新增编辑/删除按钮
  3. 如果是团队管理员 - 显示所有团队密钥
  4. 模型中心 - 明确模型成本按每百万 token 计算
  5. 邀请链接 - 修复生成的无效 URL
  6. 新增 - 支出日志表格查看器 - 允许代理管理员在 UI 上查看支出日志
    1. 新增支出日志 - 允许代理管理员选择在支出日志表格中记录请求/响应 - 便于检测滥用行为
    2. 在支出日志中显示来源国家/地区
    3. 添加分页 + 按密钥名称/团队名称过滤
  7. /key/delete - 允许团队管理员删除团队密钥
  8. 内部用户“视图” - 修复选择团队时的支出计算
  9. 模型分析现已免费提供
  10. 用量页面 - 显示支出为 0 的天数，并将图表上的支出四舍五入到 2 位有效数字
  11. 公共团队 - 允许管理员在 UI 上暴露团队供新用户“加入” - 从此处开始
  12. 护栏​
    1. 在虚拟密钥上设置/编辑护栏
    2. 允许在团队上设置护栏
    3. 在团队创建 + 编辑页面上设置护栏
  13. 支持在 /key/update 上临时增加预算 - 新增 temp_budget_increase 和 temp_budget_expiry 字段 - 从此处开始
  14. 支持在密钥轮换时将新的密钥别名写入 AWS Secret Manager - 从此处开始

Helm​

  1. 添加 securityContext 和 pull policy 值到迁移作业（致谢 https://github.com/Hexoplon）
  2. 允许在 values.yaml 中指定 envVars
  3. 新的 helm lint 测试

日志记录 / 护栏集成​

  1. 使用提示管理时记录使用的提示。 从此处开始
  2. 支持带有团队别名前缀的 s3 日志记录 - 从此处开始
  3. Prometheus 从此处开始
    1. 修复 bedrock 模型未填充 litellm_llm_api_time_to_first_token_metric 的问题
    2. 定期发出剩余团队预算指标（即使没有调用） - 允许在 Grafana 等工具上获取更稳定的指标。
    3. 添加密钥和团队级别的预算指标
    4. 发出 litellm_overhead_latency_metric
    5. 发出 litellm_team_budget_reset_at_metric 和 litellm_api_key_budget_remaining_hours_metric
  4. Datadog - 支持将支出标签记录到 Datadog。 从此处开始
  5. Langfuse - 修复日志请求标签，从标准日志 payload 中读取
  6. GCS - 日志记录时不截断 payload
  7. 新增 GCS Pub/Sub 日志记录支持 从此处开始
  8. 添加 AIM 护栏支持 从此处开始

安全性​

  1. 新企业版 SLA，用于修补安全漏洞。 查看此处
  2. Hashicorp - 支持使用 vault namespace 进行 TLS 认证。 从此处开始
  3. Azure - 支持 DefaultAzureCredential

健康检查​

  1. 从通配符路由列表中清理仅定价模型名称 - 防止不良健康检查
  2. 允许为通配符路由指定健康检查模型 - https://docs.litellm.com.cn/docs/proxy/health#wildcard-routes
  3. 新增 ‘health_check_timeout’ 参数，默认上限为 1 分钟，以防止不良模型在健康检查时挂起并导致 pod 重启。 从此处开始
  4. Datadog - 添加 Datadog 服务健康检查 + 暴露新的 /health/services 端点。 从此处开始

性能 / 可靠性改进​

  1. RPS 提升 3 倍 - 改用 orjson 读取请求体
  2. LLM 路由加速 - 使用缓存的模型组信息获取
  3. SDK 加速 - 使用缓存的模型信息获取助手 - 减少获取模型信息的 CPU 工作
  4. 代理加速 - 每个请求只读取一次请求体
  5. 代码库中添加了无限循环检测脚本
  6. Bedrock - 纯异步图像转换请求
  7. 冷却机制 - 如果在高流量下 100% 的调用失败，则使用单一部署模型组 - 防止 o1 中断影响其他调用
  8. 响应头 - 返回
    1. x-litellm-timeout
    2. x-litellm-attempted-retries
    3. x-litellm-overhead-duration-ms
    4. x-litellm-response-duration-ms
  9. 确保重复的回调不会被添加到代理
  10. Requirements.txt - 提升 certifi 版本

通用代理改进​

  1. JWT / OIDC 认证 - 新增 enforce_rbac 参数，允许代理管理员阻止任何未映射但已认证的 jwt token 调用代理。 从此处开始
  2. 修复定制 swagger 的自定义 openapi schema 生成
  3. 请求头 - 支持从请求头读取 x-litellm-timeout 参数。在使用 Vercel 的 AI SDK + LiteLLM 代理时启用模型超时控制。 从此处开始
  4. JWT / OIDC 认证 - 新增基于 role 的模型认证权限。 查看此处

完整 Git Diff​

这是 v1.57.8-stable 和 v1.59.8-stable 之间的 diff。

使用此链接查看代码库中的更改。

Git Diff