2篇标记为“新模型”的文章

guardrails, logging, 虚拟密钥管理, 新模型

新功能​

✨ 记录 Guardrail 轨迹​

跟踪 guardrail 故障率以及 guardrail 是否异常并导致请求失败。在此开始

跟踪 Guardrail 成功​

跟踪 Guardrail 失败​

/guardrails/list​

/guardrails/list 允许客户端查看可用 guardrails + 支持的 guardrail 参数

curl -X GET 'http://0.0.0.0:4000/guardrails/list'

预期响应

{
    "guardrails": [
        {
        "guardrail_name": "aporia-post-guard",
        "guardrail_info": {
            "params": [
            {
                "name": "toxicity_score",
                "type": "float",
                "description": "Score between 0-1 indicating content toxicity level"
            },
            {
                "name": "pii_detection",
                "type": "boolean"
            }
            ]
        }
        }
    ]
}

✨ 带有模拟 LLM 的 Guardrails​

发送 mock_response 以在不进行 LLM 调用的情况下测试 guardrails。更多关于 mock_response 的信息此处

curl -i https://:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-npnwjPQciVRok5yNZgKmFQ" \
  -d '{
    "model": "gpt-3.5-turbo",
    "messages": [
      {"role": "user", "content": "hi my email is ishaan@berri.ai"}
    ],
    "mock_response": "This is a mock response",
    "guardrails": ["aporia-pre-guard", "aporia-post-guard"]
  }'

将密钥分配给用户​

您现在可以通过 Proxy UI 将密钥分配给用户

新模型​

• openrouter/openai/o1
• vertex_ai/mistral-large@2411

修复​

• 修复 vertex_ai/ mistral 模型定价：https://github.com/BerriAI/litellm/pull/7345
• aspeech 调用类型日志中缺少 model_group 字段https://github.com/BerriAI/litellm/pull/7392

新的 LiteLLM Stable 版本刚刚发布。以下是自 v1.52.2-stable 以来的 5 项更新。

langfuse, fallbacks, 新模型, Azure 存储

Langfuse 提示词管理​

这使得在 Langfuse 上轻松运行实验或更改特定模型，例如从 gpt-4o 更改为 gpt-4o-mini，而无需修改您的应用程序。在此开始

客户端控制回退提示词​

Claude 提示词与 OpenAI 不同

在进行回退时，传入特定于模型的提示词。在此开始

新的提供商 / 模型​

• NVIDIA Triton 的 /infer 端点。在此开始
• Infinity Rerank 模型在此开始

✨ 支持 Azure Data Lake Storage​

将 LLM 使用数据（费用、token）发送到Azure Data Lake。这使得在其他服务（例如 Databricks）上使用这些数据变得容易在此开始

运行 LiteLLM Docker 镜像​

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:litellm_stable_release_branch-v1.55.8-stable

获取每日更新​

LiteLLM 每日发布新版本。在领英上关注我们以获取每日更新。