一篇标签为“预算/速率限制”的帖子

密钥管理, 预算/速率限制, 日志记录, 护栏

✨ 预算/速率限制分级​

定义带有速率限制的分级。将其分配给密钥。

使用此功能控制大量密钥的访问和预算。

从这里开始

curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
    "budget_id": "high-usage-tier",
    "model_max_budget": {
        "gpt-4o": {"rpm_limit": 1000000}
    }
}'

OTEL Bug 修复​

LiteLLM 曾双重记录 litellm_request span。现已修复。

相关 PR

微调端点的日志记录​

所有日志提供商（例如 Datadog）现已提供微调请求的日志。

每个请求记录的内容

• file_id
• finetuning_job_id
• 任何密钥/团队元数据

从这里开始

• 设置微调
• 设置日志记录

护栏的动态参数​

您现在可以在每个请求中为护栏设置自定义参数（如成功阈值）。

有关更多详细信息，请参阅护栏规范