跳到主要内容

标记为“logging”的 4 篇文章

查看所有标签

Krrish Dholakia
Ishaan Jaffer
信息

在这里获取 LiteLLM 企业版 7 天免费试用。这里。

无需联系

新模型/更新的模型​

  1. 新增 OpenAI /image/variations 端点 BETA 支持 文档
  2. 在 OpenAI /image/variations BETA 端点上支持 Topaz API 文档
  3. Deepseek - 支持带有 reasoning_content 的 r1 版本 (Deepseek API, Vertex AI, Bedrock)
  4. Azure - 添加 Azure o1 定价 请参阅这里
  5. Anthropic - 处理模型中的 `-latest` 标签用于成本计算
  6. Gemini-2.0-flash-thinking - 添加模型定价 (0.0) 请参阅这里
  7. Bedrock - 添加 stability sd3 模型定价 请参阅这里 (感谢 Marty Sullivan)
  8. Bedrock - 将 us.amazon.nova-lite-v1:0 添加到模型成本图 请参阅这里
  9. TogetherAI - 添加新的 together_ai llama3.3 模型 请参阅这里

LLM 翻译​

  1. LM Studio -> 修复异步嵌入调用
  2. Gpt 4o 模型 - 修复 response_format 翻译
  3. Bedrock nova - 扩展支持的文档类型，包括 .md, .csv 等。 从这里开始
  4. Bedrock - 关于 Bedrock 基于 IAM 角色访问的文档 - 从这里开始
  5. Bedrock - 使用时缓存 IAM 角色凭据
  6. Google AI Studio (gemini/) - 支持 gemini 的 'frequency_penalty' 和 'presence_penalty'
  7. Azure O1 - 修复模型名称检查
  8. WatsonX - 支持 WatsonX 的 ZenAPIKey 文档
  9. Ollama Chat - 支持 json schema 响应格式 从这里开始
  10. Bedrock - 流式传输错误时返回正确的 bedrock 状态码和错误消息
  11. Anthropic - 支持 Anthropic 调用中的嵌套 json schema
  12. OpenAI - metadata 参数预览支持
    1. SDK - 通过 litellm.enable_preview_features = True 启用
    2. PROXY - 通过 litellm_settings::enable_preview_features: true 启用
  13. Replicate - 在 status=processing 时重试完成响应

支出跟踪改进​

  1. Bedrock - QA 确保所有 bedrock 区域模型与基础模型具有相同的 supported_ 字段
  2. Bedrock - 修复指定区域名称时的 bedrock converse 成本跟踪问题
  3. 支出日志可靠性修复 - 当请求体中传递的 user 为整数而非字符串时
  4. 确保 ‘base_model’ 成本跟踪在所有端点上都有效
  5. 图像生成成本跟踪修复
  6. Anthropic - 修复 Anthropic 最终用户成本跟踪
  7. JWT / OIDC 认证 - 添加来自 jwt 认证的最终用户 id 跟踪

管理端点 / UI​

  1. 允许团队成员在添加后成为管理员 (UI + 端点)
  2. UI 上更新团队成员的新编辑/删除按钮
  3. 如果是团队管理员 - 显示所有团队密钥
  4. 模型中心 - 明确模型成本是每 100万 token
  5. 邀请链接 - 修复生成的无效 URL
  6. 新增 - 支出日志表格查看器 - 允许代理管理员在 UI 上查看支出日志
    1. 新增支出日志 - 允许代理管理员“选择加入”在支出日志表中记录请求/响应 - 便于更轻松地检测滥用行为
    2. 在支出日志中显示原产国
    3. 添加分页 + 按密钥名称/团队名称过滤
  7. /key/delete - 允许团队管理员删除团队密钥
  8. 内部用户 ‘视图’ - 修复选择团队时的支出计算问题
  9. 模型分析现在在免费版中可用
  10. 用量页面 - 显示支出为 0 的天数，并将图表上的支出四舍五入到 2 位有效数字
  11. 公共团队 - 允许管理员公开团队供新用户在 UI 上 ‘加入’ - 从这里开始
  12. Guardrails（安全护栏）
    1. 在虚拟密钥上设置/编辑 guardrails
    2. 允许在团队上设置 guardrails
    3. 在团队创建 + 编辑页面上设置 guardrails
  13. 支持在 /key/update 上临时增加预算 - 新增 temp_budget_increase 和 temp_budget_expiry 字段 - 从这里开始
  14. 支持将新密钥别名写入 AWS Secret Manager - 在密钥轮换时 从这里开始

Helm​

  1. 为迁移作业添加 securityContext 和 pull policy 值 (感谢 https://github.com/Hexoplon)
  2. 允许在 values.yaml 中指定 envVars
  3. 新的 helm lint 测试

日志记录 / Guardrail 集成​

  1. 使用 prompt 管理时记录使用的 prompt。 从这里开始
  2. 支持带有团队别名前缀的 S3 日志记录 - 从这里开始
  3. Prometheus 从这里开始
    1. 修复 bedrock 模型中 litellm_llm_api_time_to_first_token_metric 未填充的问题
    2. 定期发布剩余团队预算指标（即使没有调用）- 允许在 Grafana 等工具中获得更稳定的指标
    3. 添加密钥和团队级别的预算指标
    4. 发布 litellm_overhead_latency_metric
    5. 发布 litellm_team_budget_reset_at_metric 和 litellm_api_key_budget_remaining_hours_metric
  4. Datadog - 支持将支出标签记录到 Datadog。 从这里开始
  5. Langfuse - 修复请求标签日志记录，从标准日志 payload 读取
  6. GCS - 日志记录时不要截断 payload
  7. 新增 GCS Pub/Sub 日志记录支持 从这里开始
  8. 添加 AIM Guardrails 支持 从这里开始

安全​

  1. 针对安全漏洞修复的新企业版 SLA。 请参阅这里
  2. Hashicorp - 支持使用 vault namespace 进行 TLS 认证。 从这里开始
  3. Azure - 支持 DefaultAzureCredential

健康检查​

  1. 从通配符路由列表中清理仅定价的模型名称 - 防止错误的健康检查
  2. 允许为通配符路由指定健康检查模型 - https://docs.litellm.com.cn/docs/proxy/health#wildcard-routes
  3. 新增 ‘health_check_timeout ‘ 参数，默认上限为 1 分钟，防止错误的模型导致健康检查挂起并引起 pod 重启。 从这里开始
  4. Datadog - 添加 Datadog 服务健康检查 + 暴露新的 /health/services 端点。 从这里开始

性能 / 可靠性改进​

  1. RPS 提升 3 倍 - 使用 orjson 读取请求体
  2. LLM 路由加速 - 使用缓存的模型组信息
  3. SDK 加速 - 使用缓存的模型信息辅助工具 - 减少获取模型信息的 CPU 工作量
  4. 代理加速 - 每个请求只读取请求体一次
  5. 代码库中添加了无限循环检测脚本
  6. Bedrock - 纯异步图像转换请求
  7. 冷却时间 - 如果在高流量下 100% 的调用失败，则将模型组设置为单个部署 - 防止 o1 中断影响其他调用
  8. 响应头 - 返回
    1. x-litellm-timeout
    2. x-litellm-attempted-retries
    3. x-litellm-overhead-duration-ms
    4. x-litellm-response-duration-ms
  9. 确保不会向代理添加重复的回调
  10. Requirements.txt - 提升 certifi 版本

通用代理改进​

  1. JWT / OIDC 认证 - 新增 enforce_rbac 参数，允许代理管理员阻止任何未映射但已认证的 jwt token 调用代理。 从这里开始
  2. 修复定制 swagger 的自定义 openapi schema 生成问题
  3. 请求头 - 支持从请求头读取 x-litellm-timeout 参数。使用 Vercel 的 AI SDK + LiteLLM Proxy 时启用模型超时控制。 从这里开始
  4. JWT / OIDC 认证 - 新增基于 role 的模型认证权限。 请参阅这里

完整 Git Diff​

这是 v1.57.8-stable 和 v1.59.8-stable 之间的 diff。

使用此文件查看代码库中的更改。

Git Diff

Krrish Dholakia
Ishaan Jaffer
信息

在这里获取 LiteLLM 企业版 7 天免费试用。这里。

无需联系

UI 改进​

[选择加入]Admin UI - 查看消息 / 响应​

您现在可以在管理 UI 上查看消息和响应日志。

如何启用 - 在您的 proxy_config.yaml 中添加 store_prompts_in_spend_logs: true

启用此标志后，您的 messages 和 responses 将存储在 LiteLLM_Spend_Logs 表中。

general_settings:
  store_prompts_in_spend_logs: true

数据库 Schema 变更​

在 LiteLLM_Spend_Logs 表中添加了 messages 和 responses 字段。

默认情况下不记录此项。 如果您希望记录 messages 和 responses，您需要通过此设置选择加入

general_settings:
  store_prompts_in_spend_logs: true

Krrish Dholakia
Ishaan Jaffer

guardrails, logging, virtual key management, new models

信息

在这里获取 LiteLLM 企业版 7 天免费试用。这里。

无需联系

新特性​

✨ 记录 Guardrail 追踪​

跟踪 guardrail 失败率以及 guardrail 是否异常并导致请求失败。 从这里开始

追踪 Guardrail 成功​

追踪 Guardrail 失败​

/guardrails/list​

/guardrails/list 允许客户端查看可用的 guardrails + 支持的 guardrail 参数

curl -X GET 'http://0.0.0.0:4000/guardrails/list'

预期响应

{
    "guardrails": [
        {
        "guardrail_name": "aporia-post-guard",
        "guardrail_info": {
            "params": [
            {
                "name": "toxicity_score",
                "type": "float",
                "description": "Score between 0-1 indicating content toxicity level"
            },
            {
                "name": "pii_detection",
                "type": "boolean"
            }
            ]
        }
        }
    ]
}

✨ 使用 Mock LLM 的 Guardrails​

发送 mock_response 来测试 guardrails，无需进行 LLM 调用。有关 mock_response 的更多信息请参阅这里

curl -i https://:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-npnwjPQciVRok5yNZgKmFQ" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is ishaan@berri.ai"}
    ],
    "mock_response": "This is a mock response",
    "guardrails": ["aporia-pre-guard", "aporia-post-guard"]
  }'

为用户分配密钥​

您现在可以通过代理 UI 为用户分配密钥

新模型​

  • openrouter/openai/o1
  • vertex_ai/mistral-large@2411

修复​

Krrish Dholakia
Ishaan Jaffer

密钥管理, 预算/速率限制, 日志记录, guardrails

信息

在这里获取 LiteLLM 企业版 7 天免费试用。这里。

无需联系

✨ 预算 / 速率限制层级​

定义带有速率限制的层级。将其分配给密钥。

使用此功能控制许多密钥的访问和预算。

从这里开始

curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
    "budget_id": "high-usage-tier",
    "model_max_budget": {
        "gpt-4o": {"rpm_limit": 1000000}
    }
}'

OTEL Bug 修复​

LiteLLM 曾双重记录 litellm_request span。此问题现已修复。

相关 PR

Finetuning 端点日志记录​

现在所有日志提供程序（例如 Datadog）都提供 finetuning 请求的日志。

每个请求记录的内容

  • file_id
  • finetuning_job_id
  • 任何密钥/团队元数据

从这里开始

Guardrails 动态参数​

您现在可以在每个请求中为您的 guardrails 设置自定义参数（例如成功阈值）。

请参阅 guardrails 规范了解更多详情