发布 LiteLLM-Rust:一款用于编码智能体的轻量级 Rust AI 网关
发布 LiteLLM-Rust — 一个专为编码代理(Coding Agents)设计的、采用 MIT 许可证的轻量级 Rust AI 网关。可直接与您现有的 LiteLLM config.yaml + 数据库兼容。目前处于早期实验阶段,欢迎反馈。
AI 网关
我们如何构建全球使用最广泛的开源 AI 网关。包括路由、可靠性、可观测性以及我们在过程中学到的经验。
我们正在招聘!在收件箱中接收新文章
路由至 100+ 模型提供商
发布 LiteLLM-Rust — 一个专为编码代理(Coding Agents)设计的、采用 MIT 许可证的轻量级 Rust AI 网关。可直接与您现有的 LiteLLM config.yaml + 数据库兼容。目前处于早期实验阶段,欢迎反馈。
披露 LiteLLM 代理中存在的一个 Host 头部身份验证绕过漏洞。已在 v1.84.0 版本中修复。仅极少数部署受到潜在影响,LiteLLM 云客户未受影响。
LiteLLM AI 网关实现对 Claude Opus 4.8 的首日(Day 0)支持。支持在 Anthropic、Azure、Vertex AI 和 Bedrock 上使用。
我们如何在 LiteLLM AI 网关上构建一个后台代理,在无需人工干预的情况下合并 PR(及其背后的基础设施、框架和凭据作用域调用)。
五月 LiteLLM 市政厅会议回顾:涵盖 89 个安全修复、新的版本发布策略、MCP 工具集、性能提升以及 LiteLLM 代理平台。
关于在 LiteLLM 代理和 SDK 上使用 Gemini 3.5 Flash 的指南,支持首日特性。
LiteLLM 现已支持 Google AI Studio 托管代理 API。通过 LiteLLM 创建、管理和运行自定义代理。
加入 5 月 19 日周二上午 7:30(太平洋标准时间)举行的 LiteLLM 五月市政厅会议,了解 LiteLLM 的产品更新和路线图。
LiteLLM 的组件化部署如何将管理/UI 控制平面与 LLM 数据平面隔离,从而提升规模化下的可靠性。
2026 年 5 月 11 日,作为协同供应链攻击的一部分,PyPI 上发布了一个恶意版本的 mistralai 软件包。LiteLLM 未受影响——我们通过 httpx 直接调用 Mistral,从不导入 mistralai SDK。
在 LiteLLM 网关上生成沙箱代理会话——托管代理的控制平面,现已进入公开预览阶段。
CVE-2026-42208(LiteLLM 代理 API 密钥验证路径中的 SQL 注入)已修复。请升级至 v1.83.10-stable。
日期:2026年4月
取消 `-stable` 和 `-nightly` 后缀。每周发布将更新次要版本(MINOR);补丁版本(PATCH)现仅保留给实际的热修复。旧版本保留其标签;新版本从 `1.84.0` 开始。
在 LiteLLM 上通过 Gemini API 和 Vertex AI 使用正式发布的 gemini-embedding-2 进行多模态嵌入——与预览版相同的流程,使用稳定的模型 ID。
LiteLLM 对 GPT-5.5 和 GPT-5.5 Pro 提供首日支持。
CVE-2026-30623(通过 MCP stdio 传输进行身份验证的 RCE)已修复。请升级至 v1.83.6-nightly 或 v1.83.7-stable 或更高版本。
将 Akto 的基于模型的检测与 LiteLLM 内置的安全防护栏(Guardrails)串联——捕获基于模式的检查所遗漏的 PII、提示注入和违反策略的行为。
LiteLLM AI 网关对 Claude Opus 4.7 提供首日支持——支持在 Anthropic、Azure、Vertex AI 和 Bedrock 上使用。
LiteLLM 的生产级 AI 网关如何在规模化下处理 Redis 退化而不导致连锁故障——熔断器模式、0ms 快速失败、自动恢复。
四月 LiteLLM 市政厅会议回顾,涵盖 CI/CD v2、产品稳定性工作以及近期路线图。
披露在 LiteLLM v1.83.0 中修复的安全漏洞,并启动我们的漏洞悬赏计划。
加入 4 月 10 日星期五上午 7:30 举行的 LiteLLM 四月市政厅会议,了解 LiteLLM 的安全和产品路线图。
CI/CD v2 为 LiteLLM 引入了隔离环境、更强的安全门控和更安全的版本发布分离机制。
LiteLLM 正与 Vanta 合作进行 SOC 2 Type 2 和 ISO 27001 再认证,并聘请独立审计师进行验证。
发生了什么,我们做了什么,以及 LiteLLM 的发布和安全流程接下来会怎样。
截至 2026 年 3 月 24 日下午 2:00 ET
日期:2026年3月18日
LiteLLM 支持 GPT-5.4-mini 和 GPT-5.4-nano 模型
LiteLLM 现在支持在多次视频生成中创建、检索和管理可复用的视频角色。
使用 LiteLLM 代理通过 HTTP 路由 OpenAI 风格的 WebRTC 实时通信:client_secrets 和 SDP 交换。
LiteLLM 支持 GPT-5.4 模型
关于在 LiteLLM 代理和 SDK 上使用 Gemini 3.1 Flash Lite Preview 的指南,支持首日特性。
日期:2026年2月27日
LiteLLM 对 GPT-5.3-Codex 提供首日支持,包括 Responses API 的阶段参数处理。
日期:2026年2月24日
日期:2026年2月23日
日期:2026年1月22日
关于在 LiteLLM 代理和 SDK 上使用 Gemini 3.1 Pro 的指南,支持首日特性。
日期:2026年2月16日
LiteLLM AI 网关对 Claude Sonnet 4.6 提供首日支持——支持在 Anthropic、Azure、Vertex AI 和 Bedrock 上使用。
日期:2026年2月13日
LiteLLM 对 MiniMax-M2.5 提供首日支持
日期:2026年1月27日
我们如何通过替换单个中间件基类来提升 LiteLLM 代理的延迟和吞吐量
我们如何构建一个长期运行的版本验证系统,在问题到达用户之前捕获回归。
LiteLLM AI 网关对 Claude Opus 4.6 提供首日支持——支持在 Anthropic、Azure、Vertex AI 和 Bedrock 上使用。
我们的第一季度性能目标及架构方向,旨在实现普通硬件上亚毫秒级的代理开销。
关于在 LiteLLM 代理和 SDK 上使用 Gemini 3 Flash 的指南,支持首日特性。
关于 Claude Opus 4.5 以及 LiteLLM 中高级功能的指南:工具搜索、程序化工具调用和 Effort 参数。
在 LiteLLM 代理和 SDK 中使用 gemini-3-pro-preview 的常见问题和最佳实践。
通过 Gemini API(每个输入一个向量,兼容 OpenAI)和 Vertex AI(每个请求单个统一向量),使用 LiteLLM 上的 gemini-embedding-2-preview 从文本、图像、音频、视频和 PDF 生成嵌入。