v1.65.0-stable 现已上线。以下是此版本的主要亮点：
- 支持 MCP: 支持在 LiteLLM 代理上添加和使用 MCP 服务器。
- UI 查看 100 万条日志后的总使用量: 现在，在数据库日志数量超过 100 万条后，您仍然可以查看使用情况分析。
模型上下文协议 (MCP)
此版本引入了对在 LiteLLM 上集中添加 MCP 服务器的支持。这使您可以添加 MCP 服务器端点，并且您的开发人员可以通过 LiteLLM list 和 call MCP 工具。
在此阅读更多关于 MCP 的信息。
通过 LiteLLM 暴露和使用 MCP 服务器
UI 查看 100 万条日志后的总使用量
此版本增加了即使数据库日志数量超过 100 万条后仍能查看总使用情况分析的功能。我们实现了一个可扩展的架构，仅存储聚合的使用数据，从而显著提高了查询效率并降低了数据库 CPU 利用率。
查看 100 万条日志后的总使用量
工作原理
- 我们现在将使用数据聚合到专用的 DailyUserSpend 表中，即使日志数量超过 100 万条，也能显著降低查询负载和 CPU 使用率。
每日消费明细 API
通过一个端点检索详细的每日使用数据（按模型、提供商和 API 密钥）。示例请求
每日消费明细 APIcurl -L -X GET 'https://:4000/user/daily/activity?start_date=2025-03-20&end_date=2025-03-27' \
-H 'Authorization: Bearer sk-...'每日消费明细 API 响应{
"results": [
{
"date": "2025-03-27",
"metrics": {
"spend": 0.0177072,
"prompt_tokens": 111,
"completion_tokens": 1711,
"total_tokens": 1822,
"api_requests": 11
},
"breakdown": {
"models": {
"gpt-4o-mini": {
"spend": 1.095e-05,
"prompt_tokens": 37,
"completion_tokens": 9,
"total_tokens": 46,
"api_requests": 1
},
"providers": { "openai": { ... }, "azure_ai": { ... } },
"api_keys": { "3126b6eaf1...": { ... } }
}
}
],
"metadata": {
"total_spend": 0.7274667,
"total_prompt_tokens": 280990,
"total_completion_tokens": 376674,
"total_api_requests": 14
}
}
新模型 / 更新模型
- 支持 Vertex AI gemini-2.0-flash-lite 和 Google AI Studio gemini-2.0-flash-lite PR
- 支持 Vertex AI 微调的 LLM PR
- 支持 Nova Canvas 图像生成 PR
- 支持 OpenAI gpt-4o-transcribe PR
- 新增 Vertex AI 文本嵌入模型 PR
LLM 翻译
- 支持 OpenAI 网络搜索工具调用 PR
- 支持 Vertex AI topLogprobs PR
- 支持向 Vertex AI 多模态嵌入发送图像和视频 文档
- 在补全、嵌入、图像生成等所有场景下支持 Vertex AI + Gemini 的 litellm.api_base PR
- 修复了使用 LiteLLM Python SDK 连接 LiteLLM 代理时返回
response_cost的错误 PR - 支持 Mistral API 的
max_completion_tokensPR - 重构了 Vertex AI 透传路由 - 修复了在路由器模型添加时自动设置 default_vertex_region 导致的不确定行为 PR
消费追踪改进
用户界面 (UI)
模型管理
请求日志
使用情况选项卡
日志集成
性能 / 可靠性改进
- LiteLLM Redis 语义缓存实现 PR
- 在数据库中断时优雅地处理异常 PR
- 当 allow_requests_on_db_unavailable: True 且数据库宕机时，允许 Pods 启动并通过 /health/readiness 检查 PR
一般改进
- 支持在 litellm 代理上暴露 MCP 工具 PR
- 通过调用 Gemini, Anthropic, xAI 模型的 /v1/model 端点支持发现这些模型 PR
- 修复了 JWT 认证中非代理管理员的路由检查 PR
- 添加了 Prisma 数据库基线迁移 PR
- 在 /model/info 上查看所有通配符模型 PR
安全
- 将 UI 控制面板中的 next 版本从 14.2.21 升级到 14.2.25 PR