3 篇标记为“guardrails”的帖子

guardrails, 日志记录, 虚拟密钥管理, 新模型

新功能​

✨ 记录 Guardrail 追踪​

追踪 guardrail 失败率，以及 guardrail 是否异常并导致请求失败。从这里开始

追踪到的 Guardrail 成功​

追踪到的 Guardrail 失败​

/guardrails/list​

/guardrails/list 允许客户端查看可用的 guardrails + 支持的 guardrail 参数

curl -X GET 'http://0.0.0.0:4000/guardrails/list'

预期响应

{
    "guardrails": [
        {
        "guardrail_name": "aporia-post-guard",
        "guardrail_info": {
            "params": [
            {
                "name": "toxicity_score",
                "type": "float",
                "description": "Score between 0-1 indicating content toxicity level"
            },
            {
                "name": "pii_detection",
                "type": "boolean"
            }
            ]
        }
        }
    ]
}

✨ 使用模拟 LLM 的 Guardrails​

发送 mock_response 来测试 guardrails，而无需进行 LLM 调用。有关 mock_response 的更多信息，请点击此处

curl -i https://:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-npnwjPQciVRok5yNZgKmFQ" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is ishaan@berri.ai"}
    ],
    "mock_response": "This is a mock response",
    "guardrails": ["aporia-pre-guard", "aporia-post-guard"]
  }'

将密钥分配给用户​

您现在可以通过 Proxy UI 将密钥分配给用户

新模型​

• openrouter/openai/o1
• vertex_ai/mistral-large@2411

修复​

• 修复 vertex_ai/ mistral 模型定价问题：https://github.com/BerriAI/litellm/pull/7345
• aspeech 调用类型的日志中缺少 model_group 字段 https://github.com/BerriAI/litellm/pull/7392

密钥管理, 预算/速率限制, 日志记录, guardrails

✨ 预算 / 速率限制层级​

定义包含速率限制的层级。将其分配给密钥。

使用此功能控制大量密钥的访问和预算。

从这里开始

curl -L -X POST 'http://0.0.0.0:4000/budget/new' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
    "budget_id": "high-usage-tier",
    "model_max_budget": {
        "gpt-4o": {"rpm_limit": 1000000}
    }
}'

OTEL Bug 修复​

LiteLLM 之前双重记录 litellm_request span。此问题现已修复。

相关 PR

微调端点的日志记录​

微调请求的日志现在可在所有日志提供商（例如 Datadog）上获取。

每个请求记录的内容

• file_id
• finetuning_job_id
• 任意密钥/团队元数据

从这里开始

• 设置微调
• 设置日志记录

Guardrails 的动态参数​

您现在可以在每个请求中为 guardrails 设置自定义参数（例如成功阈值）。

更多详情请参阅 guardrails 规范

批量, guardrails, 团队管理, 自定义认证

✨ 批量 API (/batches) 的成本追踪和日志记录​

追踪批量创建作业的成本和使用情况。从这里开始

✨ /guardrails/list 端点​

向用户显示可用的 guardrails。从这里开始

✨ 允许团队添加模型​

这使得团队管理员可以通过 litellm 代理调用他们自己的微调模型。从这里开始

✨ 自定义认证的常见检查​

在自定义认证中调用内部 common_checks 函数现在作为企业版功能强制执行。这允许管理员在其自定义认证实现中使用 litellm 的默认预算/认证检查。从这里开始

✨ 分配团队管理员​

团队管理员功能已结束 Beta 阶段，并已移至我们的企业版层级。这使得代理管理员可以允许其他人管理其团队的密钥/模型（对于生产环境中的项目非常有用）。从这里开始