跳到主要内容

v1.63.14-stable

Krrish Dholakia
Ishaan Jaffer

这些是自 v1.63.11-stable 以来的变更。

此版本带来

  • LLM 翻译改进（支持 MCP 和 Bedrock 应用配置文件）
  • 基于用量的路由性能改进
  • 通过 websockets 支持流式传输防护
  • Azure OpenAI 客户端性能修复（来自上一个版本）

运行 LiteLLM Proxy 的 Docker 命令​

docker run
-e STORE_MODEL_IN_DB=True
-p 4000:4000
ghcr.io/berriai/litellm:main-v1.63.14-stable.patch1

演示实例​

这是一个用于测试变更的演示实例

新增/更新的模型​

  • Azure gpt-4o - 已修复定价至最新的全球定价 - PR
  • O1-Pro - 添加定价 + 模型信息 - PR
  • Azure AI - 添加了 mistral 3.1 small 定价 - PR
  • Azure - 添加了 gpt-4.5-preview 定价 - PR

LLM 翻译​

  1. LLM 新功能
  • Bedrock: 支持 bedrock 应用推理配置文件 文档
    • 从 bedrock 应用配置文件 ID 推断 AWS 区域 - (arn:aws:bedrock:us-east-1:...)
  • Ollama - 支持通过 /v1/completions 调用 入门
  • Bedrock - 支持 us.deepseek.r1-v1:0 模型名称 文档
  • OpenRouter - 支持 OPENROUTER_API_BASE 环境变量 文档
  • Azure - 添加音频模型参数支持 - 文档
  • OpenAI - 支持 PDF 文件 文档
  • OpenAI - o1-pro Responses API 流式传输支持 文档
  • [测试版]MCP - 将 MCP 工具与 LiteLLM SDK 配合使用 文档
  1. 错误修复
  • Voyage: 修复嵌入跟踪中的 prompt token 问题 - PR
  • Sagemaker - 修复 'Too little data for declared Content-Length' 错误 - PR
  • OpenAI 兼容模型 - 修复调用设置了 custom_llm_provider 的 OpenAI 兼容模型时的问题 - PR
  • VertexAI - 支持嵌入 ‘outputDimensionality’ - PR
  • Anthropic - 在流式和非流式传输中返回一致的 JSON 响应格式 - PR

消费跟踪改进​

  • litellm_proxy/ - 使用客户端 SDK 时，支持从 proxy 读取 litellm 响应成本头信息
  • 重置预算任务 - 修复重置 keys/teams/users 预算时的错误 PR
  • 流式传输 - 防止带有用量的最后一个 chunk 被忽略（影响 bedrock 流式传输 + 成本跟踪） PR

用户界面​

  1. 用户页面
    • 功能: 控制默认内部用户设置 PR
  2. 图标
    • 功能: 将外部 "artificialanalysis.ai" 图标替换为本地 svg PR
  3. 登录/退出
    • 修复: 当 default_user_id 用户不存在于数据库时，默认登录的问题 PR

日志集成​

  • 支持流式响应的调用后防护 入门
  • Arize 入门
    • 修复无效的包导入 PR
    • 迁移到使用 standardloggingpayload 进行元数据记录，确保 spans 成功落地 PR
    • 修复日志记录，使其仅记录 LLM I/O PR
    • 动态 API Key/Space 参数支持 入门
  • StandardLoggingPayload - 在 payload 中记录 litellm_model_name。允许了解发送给 API 提供商的模型名称 入门
  • Prompt 管理 - 允许构建自定义 Prompt 管理集成 入门

性能 / 可靠性改进​

  • Redis 缓存 - 添加 5 秒默认超时，防止挂起的 redis 连接影响 LLM 调用 PR
  • 允许禁用所有消费更新/写入数据库 - 通过一个标志允许禁用所有消费更新到数据库 PR
  • Azure OpenAI - 正确地重用 azure openai 客户端，修复了上一个 Stable 版本中的性能问题 PR
  • Azure OpenAI - 在 Azure/OpenAI 客户端上使用 litellm.ssl_verify PR
  • 基于用量的路由 - 通配符模型支持 入门
  • 基于用量的路由 - 支持将增量批量写入 redis - 将延迟降低到与 'simple-shuffle' 相同 PR
  • Router - 在出现 'no healthy deployments available error' 错误时显示模型冷却的原因 PR
  • 缓存 - 在内存缓存中添加单个项目的最大值限制 (1MB) - 防止通过 proxy 发送大型图片 URL 时出现 OOM 错误 PR

一般改进​

  • 透传端点 - 在透传端点响应头中支持返回 api-base 文档
  • SSL - 支持从环境变量读取 ssl 安全级别 - 允许用户指定较低的安全设置 入门
  • 凭据 - 仅在 STORE_MODEL_IN_DB 为 True 时才轮询 Credentials 表 PR
  • 图片 URL 处理 - 关于图片 URL 处理的新架构文档 文档
  • OpenAI - 更新 pip 安装 "openai==1.68.2" PR
  • Gunicorn - 安全修复 - 更新 gunicorn==23.0.0 PR

完整 Git Diff​

这是完整的 git diff