标记为 "snowflake" 的 2 篇文章

这是自 v1.63.11-stable 以来的变化。

此版本带来

• LLM 翻译改进（MCP 支持和 Bedrock 应用配置文件）
• 基于使用量路由的性能改进
• 通过 websockets 支持流式传输安全护栏
• Azure OpenAI 客户端性能修复（来自上一个版本）

Docker 运行 LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.14-stable.patch1

演示实例​

这是一个测试更改的演示实例

• 实例：https://demo.litellm.ai/
• 登录凭据
  • 用户名：admin
  • 密码：sk-1234

新模型 / 更新的模型​

• Azure gpt-4o - 将定价固定为最新的全球定价 - PR
• O1-Pro - 添加定价 + 模型信息 - PR
• Azure AI - 添加 mistral 3.1 small 定价 - PR
• Azure - 添加 gpt-4.5-preview 定价 - PR

LLM 翻译​

1. 新 LLM 功能

• Bedrock：支持 bedrock 应用推理配置文件 文档
  • 从 bedrock 应用配置文件 ID 推断 AWS 区域 - (arn:aws:bedrock:us-east-1:...)
• Ollama - 支持通过 /v1/completions 调用 入门
• Bedrock - 支持 us.deepseek.r1-v1:0 模型名称 文档
• OpenRouter - 支持 OPENROUTER_API_BASE 环境变量 文档
• Azure - 添加音频模型参数支持 - 文档
• OpenAI - 支持 PDF 文件 文档
• OpenAI - o1-pro 响应 API 流式传输支持 文档
• [测试版]MCP - 将 MCP 工具与 LiteLLM SDK 配合使用 文档

2. 错误修复

• Voyage：修复嵌入跟踪上的 prompt token 问题 - PR
• Sagemaker - 修复“declared Content-Length 数据过少”错误 - PR
• OpenAI 兼容模型 - 修复调用设置了 custom_llm_provider 的 openai 兼容模型时的问题 - PR
• VertexAI - 支持嵌入 ‘outputDimensionality’ - PR
• Anthropic - 在流式/非流式传输中返回一致的 json 响应格式 - PR

支出跟踪改进​

• litellm_proxy/ - 使用客户端 SDK 时，支持从 proxy 读取 litellm 响应成本头
• 重置预算任务 - 修复 key/team/user 上的预算重置错误 - PR
• 流式传输 - 防止带有使用量的最终块被忽略（影响 bedrock 流式传输 + 成本跟踪） - PR

用户界面​

1. 用户页面
   • 功能：控制默认内部用户设置 - PR
2. 图标
   • 功能：将外部 "artificialanalysis.ai" 图标替换为本地 svg - PR
3. 登录/登出
   • 修复：当 default_user_id 用户不存在于数据库时，默认登录 - PR

日志集成​

• 支持流式响应的调用后安全护栏 入门
• Arize 入门
  • 修复无效包导入 - PR
  • 迁移到使用 standardloggingpayload 处理元数据，确保 span 成功记录 - PR
  • 修复日志记录，使其仅记录 LLM I/O - PR
  • 支持动态 API Key/Space 参数 入门
• StandardLoggingPayload - 在 payload 中记录 litellm_model_name。允许了解发送给 API 提供商的模型名称是什么 入门
• Prompt 管理 - 允许构建自定义 prompt 管理集成 入门

性能 / 可靠性改进​

• Redis 缓存 - 添加 5 秒默认超时，防止挂起的 Redis 连接影响 LLM 调用 - PR
• 允许禁用所有支出更新 / 写入数据库 - 补丁，允许通过标志禁用所有支出更新写入数据库 - PR
• Azure OpenAI - 正确重用 azure openai 客户端，修复了上一个稳定版本中的性能问题 - PR
• Azure OpenAI - 在 Azure/OpenAI 客户端上使用 litellm.ssl_verify - PR
• 基于使用量路由 - 支持通配符模型 入门
• 基于使用量路由 - 支持向 Redis 批量写入增量 - 将延迟降低到与“简单随机”相同 - PR
• 路由器 - 在“无可用健康部署错误”上显示模型冷却原因 - PR
• 缓存 - 向内存缓存中的条目添加最大值限制 (1MB) - 防止通过 proxy 发送大型图片 URL 时出现 OOM 错误 - PR

一般改进​

• Passthrough Endpoints - 支持在直通端点响应头中返回 api-base 文档
• SSL - 支持从环境变量读取 SSL 安全级别 - 允许用户指定较低的安全设置 入门
• 凭据 - 仅当 STORE_MODEL_IN_DB 为 True 时轮询 Credentials 表 - PR
• 图片 URL 处理 - 关于图片 URL 处理的新架构文档 文档
• OpenAI - 更新 pip install "openai==1.68.2" - PR
• Gunicorn - 安全修复 - 更新 gunicorn==23.0.0 - PR

完整 Git Diff​

这是完整的 git diff

这是自 v1.63.2-stable 以来的变化。

此版本主要关注

• [测试版]响应 API 支持
• 支持 Snowflake Cortex，Amazon Nova 图片生成
• 用户界面 - 凭据管理，添加新模型时重用凭据
• 用户界面 - 在添加模型前测试与 LLM 提供商的连接

已知问题​

• 🚨 Azure OpenAI 的已知问题 - 如果您使用 Azure OpenAI，我们不建议升级。此版本未通过我们的 Azure OpenAI 负载测试

Docker 运行 LiteLLM Proxy​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.11-stable

演示实例​

这是一个测试更改的演示实例

• 实例：https://demo.litellm.ai/
• 登录凭据
  • 用户名：admin
  • 密码：sk-1234

新模型 / 更新的模型​

• 支持 Amazon Nova Canvas 的图片生成 入门
• 添加 Jamba 新模型定价 - PR
• 添加 Amazon EU 模型定价 - PR
• 添加 Bedrock Deepseek R1 模型定价 - PR
• 更新 Gemini 定价：Gemma 3, Flash 2 思考更新, LearnLM - PR
• 将 Cohere Embedding 3 模型标记为多模态 - PR
• 添加 Azure Data Zone 定价 - PR
  • LiteLLM 跟踪 azure/eu 和 azure/us 模型的成本

LLM 翻译​

1. 新端点

• [测试版]POST /responses API。 入门

2. 新 LLM 提供商

• Snowflake Cortex 入门

3. 新 LLM 功能

• 支持 OpenRouter 在流式传输中的 reasoning_content 入门

4. 错误修复

• OpenAI：在 bad request 错误时返回 code, param 和 type 关于 litellm 异常的更多信息
• Bedrock：修复 converse chunk 解析，使其在工具使用时仅返回空字典 - PR
• Bedrock：支持 extra_headers - PR
• Azure：修复函数调用 Bug 并将默认 API 版本更新到 2025-02-01-preview - PR
• Azure：修复 AI 服务 URL - PR
• Vertex AI：处理响应中的 HTTP 201 状态码 - PR
• Perplexity：修复不正确的流式响应 - PR
• Triton：修复流式补全 bug - PR
• Deepgram：处理音频文件转录时支持 bytes.IO - PR
• Ollama：修复“system”角色变得不可接受的问题 - PR
• 所有提供商（流式传输）：修复流式响应中从整个内容中剥离字符串 data: 的问题 - PR

支出跟踪改进​

1. 支持 Bedrock converse 缓存 token 跟踪 入门
2. 响应 API 成本跟踪 入门
3. 修复 Azure Whisper 成本跟踪 入门

用户界面​

在用户界面重用凭据​

您现在可以在 LiteLLM UI 上载入 LLM 提供商凭据。添加这些凭据后，您可以在添加新模型时重用它们 入门

在添加模型前测试连接​

在添加模型之前，您可以测试与 LLM 提供商的连接，以验证您是否正确设置了您的 API Base + API Key

用户界面一般改进​

1. 添加模型页面
   • 允许在 Admin UI 上添加 Cerebras, Sambanova, Perplexity, Fireworks, Openrouter, TogetherAI Models, Text-Completion OpenAI 模型
   • 允许添加 EU OpenAI 模型
   • 修复：立即显示模型的编辑 + 删除操作
2. 密钥页面
   • 修复：在 Admin UI 上立即显示新创建的密钥（无需刷新）
   • 修复：显示用户 Top API Key 时允许点击进入 Top Keys
   • 修复：允许按团队别名、密钥别名和组织过滤密钥
   • 用户界面改进：每页显示 100 个密钥，使用全高，增加密钥别名宽度
3. 用户页面
   • 修复：在用户页面显示正确的内部用户密钥数量
   • 修复：元数据未在团队用户界面中更新
4. 日志页面
   • 用户界面改进：在 LiteLLM UI 上保持展开的日志处于焦点
   • 用户界面改进：日志页面的一些小改进
   • 修复：允许内部用户查询自己的日志
   • 允许关闭在数据库中存储错误日志 入门
5. 登录/登出
   • 修复：设置 PROXY_LOGOUT_URL 时正确使用它 入门

安全性​

1. 支持轮换主密钥 入门
2. 修复：内部用户查看者权限，不允许 internal_user_viewer 角色查看 Test Key Page 或 Create Key Button 关于基于角色的访问控制的更多信息
3. 在所有用户 + 模型创建/更新/删除端点上发出审计日志 入门
4. JWT
   • 支持多个 JWT OIDC 提供商 入门
   • 修复团队被授予所有 Proxy 模型访问权限时，使用 Groups 的 JWT 访问不起作用的问题
5. 在 1 个 AWS Secret 中使用 K/V 对 入门

日志集成​

1. Prometheus：跟踪 Azure LLM API 延迟指标 入门
2. Athina：将 tags, user_feedback 和 model_options 添加到 additional_keys，这些可以发送到 Athina 入门

性能 / 可靠性改进​

1. Redis + litellm router - 修复 litellm router 的 Redis 集群模式 - PR

一般改进​

1. OpenWebUI 集成 - 显示思考 token

• LiteLLM x OpenWebUI 入门指南。 入门
• 在 OpenWebUI 上显示思考 token (Bedrock, Anthropic, Deepseek) 入门

完整 Git Diff​

这是完整的 git diff