密钥管理, 预算/速率限制, 日志记录, 安全护栏
信息
在此处获取 LiteLLM 企业版的 7 天免费试用。here.
无需致电
✨ 预算 / 速率限制层级
定义带有速率限制的层级。将其分配给密钥。
使用此功能控制大量密钥的访问和预算。
curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
"budget_id": "high-usage-tier",
"model_max_budget": {
"gpt-4o": {"rpm_limit": 1000000}
}
}'
OTEL Bug 修复
LiteLLM 曾双重记录 litellm_request span。现已修复。
Finetuning 端点日志记录
Finetuning 请求的日志现已在所有日志提供商（例如 Datadog）上可用。
每个请求记录的内容
- file_id
- finetuning_job_id
- 任何密钥/团队元数据
从这里开始
安全护栏动态参数
您现在可以在每个请求中为安全护栏设置自定义参数（例如成功阈值）。