跳到主要内容

4 篇标记为 "ui" 的文章

查看所有标签

Krrish Dholakia
Ishaan Jaffer

v1.65.0 更新了 /model/new 端点，以防止非团队管理员创建团队模型。

这意味着只有代理管理员或团队管理员可以创建团队模型。

额外变更​

  • 允许团队管理员调用 /model/update 更新团队模型。
  • 允许团队管理员调用 /model/delete 删除团队模型。
  • 为 /v2/model/info 引入新的 user_models_only 参数 - 只返回此用户添加的模型。

这些变更使团队管理员能够在 LiteLLM UI + API 上为其团队添加和管理模型。

Krrish Dholakia
Ishaan Jaffer

这些是自 v1.61.13-stable 以来的变更。

本次发布主要侧重于

  • LLM 翻译改进 (claude-3-7-sonnet + 'thinking'/'reasoning_content' 支持)
  • UI 改进 (添加模型流程、用户管理等)

演示实例​

这里有一个演示实例用于测试变更

新模型 / 更新的模型​

  1. 支持 Anthropic 3-7 sonnet + 成本追踪 (Anthropic API + Bedrock + Vertex AI + OpenRouter)
    1. Anthropic API 从这里开始
    2. Bedrock API 从这里开始
    3. Vertex AI API 查看此处
    4. OpenRouter 查看此处
  2. 支持 Gpt-4.5-preview + 成本追踪 查看此处
  3. Azure AI - Phi-4 成本追踪 查看此处
  4. Claude-3.5-sonnet - Anthropic API 上的视觉支持已更新 查看此处
  5. Bedrock llama 视觉支持 查看此处
  6. Cerebras llama3.3-70b 定价 查看此处

LLM 翻译​

  1. Infinity Rerank - 当 return_documents=True 时支持返回文档 从这里开始
  2. Amazon Deepseek - 将 <think> 参数提取到 'reasoning_content' 中 从这里开始
  3. Amazon Titan 嵌入 - 从请求体中过滤掉 'aws_' 参数 从这里开始
  4. Anthropic '思考' + 'reasoning_content' 翻译支持 (Anthropic API, Bedrock, Vertex AI) 从这里开始
  5. VLLM - 支持 'video_url' 从这里开始
  6. 通过 litellm SDK 调用代理：支持 litellm_proxy/ 用于嵌入、图像生成、转录、语音、重排 从这里开始
  7. OpenAI 透传 - 允许在 /openai 透传路由上使用助手 GET, DELETE 从这里开始
  8. 消息翻译 - 修复 OpenAI 助手消息在缺少角色时的错误 - OpenAI 允许这种情况
  9. O1/O3 - 支持 o3-mini 和 o1 parallel_tool_calls 参数的 'drop_params' (目前不支持) 查看此处

消费追踪改进​

  1. 通过 Bedrock 的重排成本追踪 查看 PR
  2. Anthropic 透传 - 修复导致成本未被追踪的竞态条件 查看 PR
  3. Anthropic 透传：确保准确的 token 计数 查看 PR

管理端点 / UI​

  1. 模型页面 - 允许按“创建时间”排序模型
  2. 模型页面 - 编辑模型流程改进
  3. 模型页面 - 修复在 UI 上添加 Azure, Azure AI Studio 模型的问题
  4. 内部用户页面 - 允许在 UI 上批量添加内部用户
  5. 内部用户页面 - 允许按“创建时间”排序用户
  6. 虚拟密钥页面 - 在将用户分配给团队时允许在下拉菜单中搜索 UserID 查看 PR
  7. 虚拟密钥页面 - 在为用户分配密钥时允许创建用户 查看 PR
  8. 模型中心页面 - 修复文本溢出问题 查看 PR
  9. 管理员设置页面 - 允许在 UI 上添加 MSFT SSO
  10. 后端 - 不允许在数据库中创建重复的内部用户

Helm​

  1. 支持迁移作业的 ttlSecondsAfterFinished - 查看 PR
  2. 使用额外的可配置属性增强迁移作业 - 查看 PR

日志记录 / 护栏集成​

  1. 支持 Arize Phoenix
  2. '无日志' - 修复嵌入调用中对 'no-log' 参数的支持

性能 / 负载均衡 / 可靠性改进​

  1. 单一部署冷却逻辑 - 如果设置，使用 allowed_fails 或 allowed_fail_policy 从这里开始

通用代理改进​

  1. Hypercorn - 修复读取/解析请求体的问题
  2. Windows - 修复在 Windows 中运行代理的问题
  3. DD-Trace - 修复代理上的 dd-trace 启用问题

完整 Git Diff​

在此处查看完整的 git diff 此处。

Krrish Dholakia
Ishaan Jaffer

警报, prometheus, 密钥管理, 管理端点, UI, 提示管理, 微调, 批量

新模型 / 更新的模型​

  1. Mistral large 定价 - https://github.com/BerriAI/litellm/pull/7452
  2. Cohere command-r7b-12-2024 定价 - https://github.com/BerriAI/litellm/pull/7553/files
  3. Voyage - 新模型、定价和上下文窗口信息 - https://github.com/BerriAI/litellm/pull/7472
  4. Anthropic - 将 Bedrock claude-3-5-haiku 的 max_output_tokens 提高到 8192

通用代理改进​

  1. 支持实时模型的健康检查
  2. 支持通过虚拟密钥调用 Azure 实时路由
  3. 支持在 /utils/token_counter 上使用自定义分词器 - 在检查自托管模型的 token 计数时非常有用
  4. 请求优先级 - 也支持在 /v1/completion 端点上

LLM 翻译改进​

  1. 支持 Deepgram STT。 从这里开始
  2. OpenAI 内容审核 - 支持 omni-moderation-latest。 从这里开始
  3. Azure O1 - 伪流式传输支持。这确保如果传递了 stream=true，响应将以流式传输。 从这里开始
  4. Anthropic - 处理非空白字符停止序列 - PR
  5. Azure OpenAI - 支持基于 Entra ID 用户名 + 密码的认证。 从这里开始
  6. LM Studio - 支持嵌入路由。 从这里开始
  7. WatsonX - 支持 ZenAPIKeyAuth。 从这里开始

提示管理改进​

  1. 集成 Langfuse
  2. 集成 HumanLoop
  3. 支持使用负载均衡模型
  4. 支持从提示管理器加载可选参数

从这里开始

微调 + 批量 API 改进​

  1. 改进了对 Vertex AI 微调的统一端点支持 - PR
  2. 添加了对检索 vertex api 批量作业的支持 - PR

新增 警报集成​

集成 PagerDuty 警报。

处理两种类型的警报

  • 高 LLM API 失败率。配置 X 次失败在 Y 秒内触发警报。
  • 高 LLM 请求挂起数量。配置 X 次挂起在 Y 秒内触发警报。

从这里开始

Prometheus 改进​

添加了基于自定义指标追踪延迟/消费/token 的支持。 从这里开始

新增 Hashicorp 密钥管理器支持​

支持读取凭据 + 写入 LLM API 密钥。 从这里开始

管理端点 / UI 改进​

  1. 在代理 UI 上创建和查看组织 + 分配组织管理员
  2. 支持按 key_alias 删除密钥
  3. 允许在 UI 上将团队分配给组织
  4. 禁用在“测试密钥”面板中使用 UI 会话 token
  5. 在“测试密钥”面板中显示使用的模型
  6. 支持在“测试密钥”面板中输出 Markdown

Helm 改进​

  1. 防止对数据库迁移 Cron 作业进行 istio 注入
  2. 允许在作业中使用 migrationJob.enabled 变量

日志记录改进​

  1. braintrust 日志记录：尊重 project_id，添加更多指标 - https://github.com/BerriAI/litellm/pull/7613
  2. Athina - 支持基础 URL - ATHINA_BASE_URL
  3. Lunary - 允许将自定义父运行 ID 传递给 LLM 调用

Git Diff​

这是 v1.56.3-stable 和 v1.57.8-stable 之间的 diff。

使用此链接查看代码库中的变更。

Git Diff

Krrish Dholakia
Ishaan Jaffer

langfuse, 管理端点, UI, prometheus, 密钥管理

Langfuse 提示管理​

Langfuse 提示管理当前标记为 BETA 版。这使我们能够快速迭代收到的反馈，并向用户明确状态。我们预计此功能将在下个月 (2025 年 2 月) 稳定。

变更

  • 在 LLM API 请求中包含客户端消息。（之前只发送了提示模板，而忽略了客户端消息）。
  • 在日志请求中记录提示模板（例如到 s3/langfuse）。
  • 在日志请求中记录 'prompt_id' 和 'prompt_variables'（例如到 s3/langfuse）。

从这里开始

团队/组织管理 + UI 改进​

在 UI 上管理团队和组织现在更简单了。

变更

  • 支持在 UI 上编辑用户在团队中的角色。
  • 支持通过 API 将团队成员角色更新为管理员 - /team/member_update
  • 向团队管理员显示其团队的所有密钥。
  • 添加带有预算的组织
  • 在 UI 上将团队分配给组织
  • 自动将 SSO 用户分配给团队

从这里开始

Hashicorp Vault 支持​

我们现在支持将 LiteLLM 虚拟 API 密钥写入 Hashicorp Vault。

从这里开始

自定义 Prometheus 指标​

定义自定义 Prometheus 指标，并针对它们追踪使用情况/延迟/请求数量

这允许进行更细粒度的追踪 - 例如，根据请求元数据中传递的提示模板

从这里开始