部署此版本
- Docker
- Pip
docker run litellm
docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.70.1-stable
pip install litellm
pip install litellm==1.70.1
主要亮点
LiteLLM v1.70.1-stable 现已上线。以下是此版本的主要亮点
- Gemini Realtime API：您现在可以通过 OpenAI 的 /v1/realtime API 调用 Gemini 的实时 API
- 支出日志保留期：支持删除超过一定期限的支出日志。
- PII 屏蔽 2.0：轻松配置在 UI 上屏蔽或阻止特定 PII/PHI 实体。
Gemini Realtime API
此版本支持通过 OpenAI 的 /v1/realtime API 调用 Gemini 的实时模型（例如 gemini-2.0-flash-live）。这对于开发者来说非常有用，因为只需更改模型名称即可轻松地从 OpenAI 切换到 Gemini。
主要亮点
- 支持文本 + 音频输入/输出
- 支持以 OpenAI 格式设置会话配置（模态、指令、活动检测）
- 支持实时会话的日志记录 + 使用情况跟踪
目前通过 Google AI Studio 支持此功能。我们计划在接下来一周发布 VertexAI 支持。
支出日志保留期
此版本支持删除超过一定期限的 LiteLLM 支出日志。由于我们现在支持在日志中存储原始请求/响应，删除旧日志可确保数据库在生产环境中保持高性能。
PII 屏蔽 2.0
此版本改进了我们的 Presidio PII 集成。作为 Proxy 管理员，您现在可以
- 屏蔽或阻止特定实体（例如，阻止医疗执照，同时屏蔽其他实体如电子邮件）。
- 监控生产环境中的防护栏。LiteLLM 日志现在将显示防护栏运行、检测到的实体以及每个实体的置信度分数。
新模型 / 更新模型
- Gemini (VertexAI + Google AI Studio)
- Google AI Studio
/realtime- 支持 Gemini Multimodal Live API
- 音频输入/输出支持、可选参数映射、准确的使用量计算 - PR
- VertexAI
/chat/completion- 修复 llama 流媒体错误 - 模型响应嵌套在返回的流媒体块中 - PR
- Ollama
/chat/completion- 结构化响应修复 - PR
- Bedrock
- Nvidia NIM
/chat/completion- 添加 tools, tool_choice, parallel_tool_calls 支持 - PR
- Novita AI
- 为
/chat/completion路由添加了新提供商 - PR
- 为
- Azure
/image/generation- 修复使用自定义模型名称调用 azure dall e 3 的问题 - PR
- Cohere
/embeddings- 迁移嵌入到使用
/v2/embed- 添加 output_dimensions 参数支持 - PR
- 迁移嵌入到使用
- Anthropic
/chat/completion- Web 搜索工具支持 - 本地 + openai 格式 - 入门
- VLLM
/embeddings- 支持以整数列表作为嵌入输入
- OpenAI
LLM API 端点
- Responses API
- 修复删除 API 支持 - PR
- Rerank API
/v2/rerank现在注册为 ‘llm_api_route’ - 允许非管理员调用它 - PR
支出跟踪改进
/chat/completion,/messages/audio/transcription/embeddings- Azure AI - 添加 cohere embed v4 定价 - PR
管理端点 / UI
- 模型
- Ollama - 为 UI 添加 api base 参数
- 日志
- 在日志中添加 team id, key alias, key hash 过滤器 - https://github.com/BerriAI/litellm/pull/10831
- 防护栏跟踪现已在日志 UI 中显示 - https://github.com/BerriAI/litellm/pull/10893
- 团队
- 当团队在组织内且成员不在组织内时，更新团队信息的补丁 - https://github.com/BerriAI/litellm/pull/10835
- 防护栏
- 在 UI 上添加 Bedrock, Presidio, Lakers 防护栏 - https://github.com/BerriAI/litellm/pull/10874
- 查看防护栏信息页面 - https://github.com/BerriAI/litellm/pull/10904
- 允许在 UI 上编辑防护栏 - https://github.com/BerriAI/litellm/pull/10907
- 测试密钥
- 在 UI 上选择要测试的防护栏
日志记录 / 告警集成
- StandardLoggingPayload
- 通用 API 记录器
- 支持传递 application/json header
- Arize Phoenix
- PagerDuty
- Pagerduty 现已成为免费功能 - PR
- 告警
- 虚拟密钥/用户/团队更新时发送 slack 告警现已免费 - PR
防护栏
- 防护栏
- 新的
/apply_guardrail端点，用于直接测试防护栏 - PR
- 新的
- Lakera
- 支持
/v2端点 - PR
- 支持
- Presidio
- Aim Security
- 支持 AIM 防护栏中的匿名化 - PR
性能 / 负载均衡 / 可靠性改进
- 允许使用 .env 变量覆盖所有常量 - PR
- 支出日志的最大保留期
通用代理改进
- 身份验证
- 处理自定义 header
x-litellm-api-key中的 Bearer $LITELLM_API_KEY PR
- 处理自定义 header
- 新的企业版 pip 包 -
litellm-enterprise- 修复使用 pip 包时找不到enterprise文件夹的问题 - Proxy CLI
- 添加
models import命令 - PR
- 添加
- OpenWebUI
- 配置 LiteLLM 从 Open Web UI 解析用户 Header
- LiteLLM Proxy 和 LiteLLM SDK
- 选项，强制/总是通过 LiteLLM SDK 调用时使用 litellm 代理
新贡献者
- @imdigitalashish 在 PR #10617 中首次贡献
- @LouisShark 在 PR #10688 中首次贡献
- @OscarSavNS 在 PR #10764 中首次贡献
- @arizedatngo 在 PR #10654 中首次贡献
- @jugaldb 在 PR #10805 中首次贡献
- @daikeren 在 PR #10781 中首次贡献
- @naliotopier 在 PR #10077 中首次贡献
- @damienpontifex 在 PR #10813 中首次贡献
- @Dima-Mediator 在 PR #10789 中首次贡献
- @igtm 在 PR #10814 中首次贡献
- @shibaboy 在 PR #10752 中首次贡献
- @camfarineau 在 PR #10629 中首次贡献
- @ajac-zero 在 PR #10439 中首次贡献
- @damgem 在 PR #9802 中首次贡献
- @hxdror 在 PR #10757 中首次贡献
- @wwwillchen 在 PR #10894 中首次贡献
演示实例
这里有一个演示实例来测试更改
- 实例: https://demo.litellm.ai/
- 登录凭据
- 用户名: admin
- 密码: sk-1234
