标记为“密钥管理”的一篇文章

key management, budgets/rate limits, logging, guardrails

✨ 预算 / 速率限制层级​

定义具有速率限制的层级。将它们分配给密钥。

使用此功能控制许多密钥的访问和预算。

从这里开始

curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
    "budget_id": "high-usage-tier",
    "model_max_budget": {
        "gpt-4o": {"rpm_limit": 1000000}
    }
}'

OTEL 错误修复​

LiteLLM 之前双重记录了 litellm_request span。现在已修复。

相关 PR

Finetuning 端点日志记录​

Finetuning 请求的日志现在可在所有日志提供商（例如 Datadog）上获取。

每个请求记录的内容

• file_id
• finetuning_job_id
• 任何密钥/团队元数据

从这里开始

• 设置 Finetuning
• 设置日志记录

Guardrails 的动态参数​

您现在可以在每个请求中为您的防护栏设置自定义参数（例如成功阈值）。

查看 guardrails 规范了解更多详情