跳到主要内容

2篇标记为"数据库模式"的帖子

查看所有标签

Krrish Dholakia
Ishaan Jaffer
信息

免费试用 LiteLLM 企业版 7 天 这里。

无需通话

新模型 / 已更新模型​

  1. 新增 OpenAI /image/variations 端点 BETA 支持 文档
  2. 在 OpenAI /image/variations BETA 端点上支持 Topaz API 文档
  3. Deepseek - 支持 r1 和 reasoning_content (Deepseek API, Vertex AI, Bedrock)
  4. Azure - 添加 azure o1 定价 点此查看
  5. Anthropic - 处理模型中的 -latest 标签用于成本计算
  6. Gemini-2.0-flash-thinking - 添加模型定价（为 0.0） 点此查看
  7. Bedrock - 添加 stability sd3 模型定价 点此查看 （鸣谢 Marty Sullivan）
  8. Bedrock - 将 us.amazon.nova-lite-v1:0 添加到模型成本图 点此查看
  9. TogetherAI - 添加新的 together_ai llama3.3 模型 点此查看

LLM 翻译​

  1. LM Studio -> 修复异步 embedding 调用
  2. Gpt 4o 模型 - 修复 response_format 翻译
  3. Bedrock nova - 扩展支持的文档类型，包括 .md, .csv 等 点此开始
  4. Bedrock - 基于 IAM 角色的 Bedrock 访问文档 - 点此开始
  5. Bedrock - 使用时缓存 IAM 角色凭据
  6. Google AI Studio (gemini/) - 支持 gemini 的 'frequency_penalty' 和 'presence_penalty'
  7. Azure O1 - 修复模型名称检查
  8. WatsonX - 支持 WatsonX 的 ZenAPIKey 文档
  9. Ollama Chat - 支持 json schema 响应格式 点此开始
  10. Bedrock - 如果流式传输时出错，返回正确的 bedrock 状态码和错误信息
  11. Anthropic - 支持 Anthropic 调用中的嵌套 json schema
  12. OpenAI - metadata 参数预览支持
    1. SDK - 通过以下方式启用： litellm.enable_preview_features = True
    2. PROXY - 通过以下方式启用： litellm_settings::enable_preview_features: true
  13. Replicate - 在 status=processing 时重试 completion 响应

支出追踪改进​

  1. Bedrock - QA 确保所有区域 Bedrock 模型具有与基础模型相同的 supported_
  2. Bedrock - 修复指定区域名称时的 Bedrock converse 成本追踪
  3. 支出日志可靠性修复 - 当请求体中传递的 user 是 int 而不是 string 时
  4. 确保“base_model”成本追踪在所有端点都有效
  5. 修复图片生成成本追踪问题
  6. Anthropic - 修复 anthropic 终端用户成本追踪
  7. JWT / OIDC 认证 - 从 jwt 认证添加终端用户 ID 追踪

管理端点 / UI​

  1. 允许团队成员添加后成为管理员（UI + 端点）
  2. UI 上用于更新团队成员的新编辑/删除按钮
  3. 如果是团队管理员 - 显示所有团队密钥
  4. 模型中心 - 明确模型成本是每 100 万 token
  5. 邀请链接 - 修复生成的无效 URL
  6. 新功能 - 支出日志表格查看器 - 允许代理管理员在 UI 上查看支出日志
    1. 新的支出日志 - 允许代理管理员“选择启用”在支出日志表格中记录请求/响应 - 便于更容易检测滥用行为
    2. 在支出日志中显示来源国家
    3. 添加分页 + 按密钥名称/团队名称过滤
  7. /key/delete - 允许团队管理员删除团队密钥
  8. 内部用户“视图” - 修复选择团队时的支出计算
  9. 模型分析现已免费提供
  10. 使用情况页面 - 显示支出为 0 的日期，并将图表上的支出四舍五入到 2 位有效数字
  11. 公共团队 - 允许管理员在 UI 上公开团队供新用户“加入” - 点此开始
  12. 防护栏
    1. 在虚拟密钥上设置/编辑防护栏
    2. 允许在团队上设置防护栏
    3. 在团队创建 + 编辑页面设置防护栏
  13. 在 /key/update 上支持临时预算增加 - 新增 temp_budget_increase 和 temp_budget_expiry 字段 - 点此开始
  14. 支持将新的密钥别名写入 AWS Secret Manager - 在密钥轮换时 点此开始

Helm​

  1. 将 securityContext 和 pull policy 值添加到迁移作业 （鸣谢 https://github.com/Hexoplon）
  2. 允许在 values.yaml 中指定 envVars
  3. 新的 helm lint 测试

日志记录 / 防护栏集成​

  1. 使用 prompt 管理时，记录使用的 prompt。 点此开始
  2. 支持带团队别名前缀的 s3 日志记录 - 点此开始
  3. Prometheus 点此开始
    1. 修复 bedrock 模型未填充 litellm_llm_api_time_to_first_token_metric 指标的问题
    2. 定期发出剩余团队预算指标（即使没有调用） - 使 Grafana 等上的指标更稳定。
    3. 添加密钥和团队级别的预算指标
    4. 发出 litellm_overhead_latency_metric
    5. 发出 litellm_team_budget_reset_at_metric 和 litellm_api_key_budget_remaining_hours_metric
  4. Datadog - 支持将支出标签记录到 Datadog。 点此开始
  5. Langfuse - 修复请求标签记录，从标准日志负载读取
  6. GCS - 记录时不截断负载
  7. 新的 GCS Pub/Sub 日志记录支持 点此开始
  8. 添加 AIM 防护栏支持 点此开始

安全性​

  1. 针对安全漏洞修补的新的企业版 SLA。 点此查看
  2. Hashicorp - 支持使用 vault namespace 进行 TLS 认证。 点此开始
  3. Azure - 支持 DefaultAzureCredential

健康检查​

  1. 从通配符路由列表中清理仅定价的模型名称 - 防止错误的健康检查
  2. 允许为通配符路由指定一个健康检查模型 - https://docs.litellm.com.cn/docs/proxy/health#wildcard-routes
  3. 新增“health_check_timeout”参数，默认上限为 1 分钟，防止错误的模型在健康检查时挂起导致 pod 重启。 点此开始
  4. Datadog - 添加 datadog 服务健康检查 + 暴露新的 /health/services 端点。 点此开始

性能 / 可靠性改进​

  1. RPS 提升 3 倍 - 迁移到 orjson 读取请求体
  2. LLM 路由加速 - 使用缓存的模型组信息获取
  3. SDK 加速 - 使用缓存的模型信息助手 - 减少获取模型信息的 CPU 工作量
  4. Proxy 加速 - 每个请求只读取一次请求体
  5. 代码库中添加了无限循环检测脚本
  6. Bedrock - 纯异步图像转换请求
  7. 冷却机制 - 在高流量下 100% 调用失败时，使用单一部署模型组 - 防止 o1 中断影响其他调用
  8. 响应头 - 返回
    1. x-litellm-timeout
    2. x-litellm-attempted-retries
    3. x-litellm-overhead-duration-ms
    4. x-litellm-response-duration-ms
  9. 确保不会向代理添加重复的回调
  10. Requirements.txt - 提升 certifi 版本

通用代理改进​

  1. JWT / OIDC 认证 - 新增 enforce_rbac 参数，允许代理管理员阻止任何未映射但已认证的 JWT token 调用代理。 点此开始
  2. 修复定制 swagger 的自定义 openapi schema 生成问题
  3. 请求头 - 支持从请求头读取 x-litellm-timeout 参数。在使用 Vercel 的 AI SDK + LiteLLM Proxy 时启用模型超时控制。 点此开始
  4. JWT / OIDC 认证 - 新的基于 role 的模型认证权限。 点此查看

完整 Git Diff​

这是 v1.57.8-stable 和 v1.59.8-stable 之间的 diff。

使用此功能查看代码库中的更改。

Git Diff

Krrish Dholakia
Ishaan Jaffer
信息

免费试用 LiteLLM 企业版 7 天 这里。

无需通话

UI 改进​

[选择启用]Admin UI - 查看消息 / 响应​

您现在可以在 Admin UI 上查看消息和响应日志。

如何启用 - 将 store_prompts_in_spend_logs: true 添加到您的 proxy_config.yaml

启用此标志后，您的 messages 和 responses 将存储在 LiteLLM_Spend_Logs 表中。

general_settings:
  store_prompts_in_spend_logs: true

数据库模式更改​

将 messages 和 responses 添加到 LiteLLM_Spend_Logs 表。

默认情况下不记录此信息。如果您希望记录 messages 和 responses，则需要通过此设置选择启用

general_settings:
  store_prompts_in_spend_logs: true