v1.65.0-stable 现已上线。以下是此版本的主要亮点：
- MCP 支持：支持在 LiteLLM 代理上添加和使用 MCP 服务器。
- UI 查看超过 1M+ 日志的总使用量：现在您可以在数据库日志超过 100 万条后查看使用情况分析。
模型上下文协议 (MCP)
此版本引入了在 LiteLLM 上集中添加 MCP 服务器的支持。这允许您添加 MCP 服务器端点，您的开发者可以通过 LiteLLM list 和 call MCP 工具。
在此处了解更多关于 MCP 的信息：此处。
通过 LiteLLM 暴露和使用 MCP 服务器
UI 查看超过 1M+ 日志的总使用量
此版本提供了在数据库日志超过 100 万条后仍然能够查看总使用量分析的功能。我们实现了可扩展的架构，仅存储聚合的使用数据，从而显著提高了查询效率并降低了数据库 CPU 利用率。
查看超过 100 万条日志后的总使用量
工作原理
- 我们现在将使用数据聚合到专门的 DailyUserSpend 表中，这显著降低了查询负载和 CPU 使用率，即使日志超过 100 万条也是如此。
每日消费明细 API
通过单个端点检索细粒度的每日使用数据（按模型、提供商和 API 密钥）。请求示例
每日消费明细 APIcurl -L -X GET 'https://:4000/user/daily/activity?start_date=2025-03-20&end_date=2025-03-27' \
-H 'Authorization: Bearer sk-...'每日消费明细 API 响应{
"results": [
{
"date": "2025-03-27",
"metrics": {
"spend": 0.0177072,
"prompt_tokens": 111,
"completion_tokens": 1711,
"total_tokens": 1822,
"api_requests": 11
},
"breakdown": {
"models": {
"gpt-4o-mini": {
"spend": 1.095e-05,
"prompt_tokens": 37,
"completion_tokens": 9,
"total_tokens": 46,
"api_requests": 1
},
"providers": { "openai": { ... }, "azure_ai": { ... } },
"api_keys": { "3126b6eaf1...": { ... } }
}
}
],
"metadata": {
"total_spend": 0.7274667,
"total_prompt_tokens": 280990,
"total_completion_tokens": 376674,
"total_api_requests": 14
}
}
新增模型 / 更新模型
- 支持 Vertex AI gemini-2.0-flash-lite 和 Google AI Studio gemini-2.0-flash-lite PR
- 支持 Vertex AI 微调 LLM PR
- 支持 Nova Canvas 图像生成 PR
- 支持 OpenAI gpt-4o-transcribe PR
- 新增 Vertex AI 文本嵌入模型 PR
LLM 翻译
- 支持调用 OpenAI Web 搜索工具 PR
- 支持 Vertex AI topLogprobs PR
- 支持将图像和视频发送到 Vertex AI 多模态嵌入 文档
- 支持 Vertex AI + Gemini 在以下功能中使用 litellm.api_base：补全、嵌入、图像生成 PR
- 修复使用 LiteLLM Python SDK 和 LiteLLM Proxy 时返回
response_cost的 bug PR - 支持在 Mistral API 上使用
max_completion_tokensPR - 重构了 Vertex AI 直通路由 - 修复了在路由器模型添加时自动设置 default_vertex_region 导致的不可预测行为 PR
消费跟踪改进
UI
模型管理
请求日志
使用情况标签页
日志集成
性能 / 可靠性改进
- LiteLLM Redis 语义缓存实现 PR
- 优雅地处理数据库故障时的异常 PR
- 当 allow_requests_on_db_unavailable: True 且数据库宕机时，允许 Pod 启动并能通过 /health/readiness 检查 PR
一般改进
- 支持在 litellm 代理上暴露 MCP 工具 PR
- 支持通过调用其 /v1/model 端点发现 Gemini, Anthropic, xAI 模型 PR
- 修复了 JWT 认证下非代理管理员的路由检查问题 PR
- 添加了基线 Prisma 数据库迁移 PR
- 在 /model/info 上查看所有通配符模型 PR
安全
- UI 仪表盘：将 next 从 14.2.21 升级到 14.2.25 PR