v1.65.0-稳定版 - 模型上下文协议

v1.65.0-稳定版现已发布。以下是本次发布的主要亮点

• MCP 支持: 支持在 LiteLLM proxy 上添加和使用 MCP 服务器.
• UI 查看超过 100万 条日志后的总使用量: 现在您可以在数据库中超过 100万 条日志后查看使用分析.

模型上下文协议 (MCP)

本次发布引入了在 LiteLLM 上集中添加 MCP 服务器的支持。这允许您添加 MCP 服务器端点，您的开发者可以通过 LiteLLM list 和 call MCP 工具.

在此处阅读更多关于 MCP 的信息 这里.

通过 LiteLLM 暴露和使用 MCP 服务器

UI 查看超过 100万 条日志后的总使用量

本次发布带来了即使在数据库中超过 100万 条日志后也能查看总使用量分析的能力。我们实现了可扩展的架构，仅存储聚合的使用量数据，从而显着提高了查询效率并降低了数据库 CPU 使用率.

查看超过 100万 条日志后的总使用量

• 工作原理

  • 我们现在将使用量数据聚合到专用的 DailyUserSpend 表中，即使超过 100万 条日志，也能显着减少查询负载和 CPU 使用率.

• 每日花费明细 API

  • 使用单个端点检索详细的每日使用量数据（按模型、提供商和 API 密钥）。示例请求

    每日花费明细 API

    curl -L -X GET 'https://:4000/user/daily/activity?start_date=2025-03-20&end_date=2025-03-27' \
    -H 'Authorization: Bearer sk-...'
    每日花费明细 API 响应

    {
        "results": [
            {
                "date": "2025-03-27",
                "metrics": {
                    "spend": 0.0177072,
                    "prompt_tokens": 111,
                    "completion_tokens": 1711,
                    "total_tokens": 1822,
                    "api_requests": 11
                },
                "breakdown": {
                    "models": {
                        "gpt-4o-mini": {
                            "spend": 1.095e-05,
                            "prompt_tokens": 37,
                            "completion_tokens": 9,
                            "total_tokens": 46,
                            "api_requests": 1
                    },
                    "providers": { "openai": { ... }, "azure_ai": { ... } },
                    "api_keys": { "3126b6eaf1...": { ... } }
                }
            }
        ],
        "metadata": {
            "total_spend": 0.7274667,
            "total_prompt_tokens": 280990,
            "total_completion_tokens": 376674,
            "total_api_requests": 14
        }
    }

新模型 / 更新模型

• 支持 Vertex AI gemini-2.0-flash-lite & Google AI Studio gemini-2.0-flash-lite PR
• 支持 Vertex AI 微调的 LLM PR
• 支持 Nova Canvas 图像生成 PR
• 支持 OpenAI gpt-4o-transcribe PR
• 添加了新的 Vertex AI 文本嵌入模型 PR

LLM 翻译

• 支持 OpenAI 网络搜索工具调用 PR
• 支持 Vertex AI topLogprobs PR
• 支持向 Vertex AI 多模态嵌入发送图像和视频 文档
• 支持 litellm.api_base 用于 Vertex AI + Gemini 在补全、嵌入和图像生成方面 PR
• 修复了使用 litellm Python SDK 和 LiteLLM Proxy 时返回 response_cost 的 bug PR
• 支持 Mistral API 的 max_completion_tokens PR
• 重构了 Vertex AI 直通路由 - 修复了在路由器模型添加时自动设置 default_vertex_region 导致的不可预测行为 PR

支出追踪改进

• 在支出日志中记录 'api_base' PR
• 支持 Gemini 音频 token 成本追踪 PR
• 修复了 OpenAI 音频输入 token 成本追踪 PR

UI

模型管理

• 允许团队管理员在 UI 上添加/更新/删除模型 PR
• 在模型中心添加了渲染 supports_web_search PR

请求日志

• 在请求日志中显示 API base 和模型 ID PR
• 允许在请求日志中查看 keyinfo PR

使用量标签页

• 添加了每日用户支出聚合视图 - 使得 UI 使用量标签页在行数 > 100万 时也能工作 PR
• 将 UI 连接到 "LiteLLM_DailyUserSpend" 支出表 PR

日志集成

• 修复了 GCS Pub Sub 日志集成的 StandardLoggingPayload PR
• 在 StandardLoggingPayload 中追踪 litellm_model_name 文档

性能 / 可靠性改进

• LiteLLM Redis 语义缓存实现 PR
• 在数据库发生故障时优雅地处理异常 PR
• 当 allow_requests_on_db_unavailable: True 且数据库宕机时，允许 Pod 启动 + 通过 /health/readiness 检查 PR

一般改进

• 支持在 litellm proxy 上暴露 MCP 工具 PR
• 通过调用 Gemini, Anthropic, xAI 模型的 /v1/model 端点支持发现它们 PR
• 修复了 JWT 认证中非 proxy 管理员的路由检查 PR
• 添加了基线 Prisma 数据库迁移 PR
• 在 /model/info 上查看所有通配符模型 PR

安全

• 在 UI 控制面板中将 next 从 14.2.21 升级到 14.2.25 PR

完整的 Git Diff

这里是完整的 git diff