3 篇标记为“管理端点”的帖子

v1.65.0 更新了 /model/new 端点，以阻止非团队管理员创建团队模型。

这意味着只有代理管理员或团队管理员才能创建团队模型。

其他更改​

• 允许团队管理员调用 /model/update 以更新团队模型。
• 允许团队管理员调用 /model/delete 以删除团队模型。
• 在 /v2/model/info 中引入新的 user_models_only 参数 - 仅返回此用户添加的模型。

这些更改使团队管理员能够在 LiteLLM UI + API 上为其团队添加和管理模型。

告警, Prometheus, 密钥管理, 管理端点, UI, Prompt 管理, 微调, 批量

新增/更新模型​

1. Mistral Large 定价 - https://github.com/BerriAI/litellm/pull/7452
2. Cohere command-r7b-12-2024 定价 - https://github.com/BerriAI/litellm/pull/7553/files
3. Voyage - 新模型、价格和上下文窗口信息 - https://github.com/BerriAI/litellm/pull/7472
4. Anthropic - 将 Bedrock claude-3-5-haiku 的 max_output_tokens 提升至 8192

通用代理改进​

1. 支持实时模型的健康检查
2. 支持通过虚拟密钥调用 Azure 实时路由
3. 在 /utils/token_counter 上支持自定义分词器 - 在检查自托管模型的 token 计数时很有用
4. 请求优先级 - 也支持 /v1/completion 端点

LLM 翻译改进​

1. Deepgram STT 支持。从这里开始
2. OpenAI Moderations - 支持 omni-moderation-latest。从这里开始
3. Azure O1 - 模拟流式传输支持。这确保如果传递了 stream=true，响应将以流式传输。从这里开始
4. Anthropic - 非空白字符停止序列处理 - PR
5. Azure OpenAI - 支持基于 Entra ID 用户名 + 密码的认证。从这里开始
6. LM Studio - Embedding 路由支持。从这里开始
7. WatsonX - ZenAPIKeyAuth 支持。从这里开始

Prompt 管理改进​

1. Langfuse 集成
2. HumanLoop 集成
3. 支持使用负载均衡模型
4. 支持从 Prompt 管理器加载可选参数

从这里开始

微调 + 批量 API 改进​

1. 改进的 Vertex AI 微调统一端点支持 - PR
2. 添加对检索 Vertex AI 批量作业的支持 - PR

*新增* 告警集成​

PagerDuty 告警集成。

处理两种类型的告警

• 高 LLM API 失败率。配置 Y 秒内失败 X 次以触发告警。
• LLM 请求挂起数量过高。配置 Y 秒内挂起 X 次以触发告警。

从这里开始

Prometheus 改进​

添加了基于自定义指标跟踪延迟/花费/token 的支持。从这里开始

*新增* Hashicorp 密钥管理器支持​

支持读取凭据 + 写入 LLM API 密钥。从这里开始

管理端点 / UI 改进​

1. 在代理 UI 上创建和查看组织 + 分配组织管理员
2. 支持按 key_alias 删除密钥
3. 允许在 UI 上将团队分配给组织
4. 禁用在“测试密钥”面板中使用 UI 会话 token
5. 在“测试密钥”面板中显示使用的模型
6. 在“测试密钥”面板中支持 Markdown 输出

Helm 改进​

1. 阻止 Istio 注入数据库迁移 cron 作业
2. 允许在作业中使用 migrationJob.enabled 变量

日志改进​

1. braintrust 日志：尊重 project_id，添加更多指标 - https://github.com/BerriAI/litellm/pull/7613
2. Athina - 支持基础 URL - ATHINA_BASE_URL
3. Lunary - 允许将自定义父运行 ID 传递给 LLM 调用

Git Diff​

这是 v1.56.3-stable 和 v1.57.8-stable 之间的差异。

使用此差异查看代码库中的更改。

Git Diff

Langfuse, 管理端点, UI, Prometheus, 密钥管理

Langfuse Prompt 管理​

Langfuse Prompt 管理被标记为 BETA 版本。这使我们能够快速迭代收到的反馈，并向用户明确其状态。我们预计到下个月（2025 年 2 月）此功能将变得稳定。

更改

• 在 LLM API 请求中包含客户端消息。（以前只发送 prompt 模板，而忽略客户端消息）。
• 在记录的请求中记录 prompt 模板（例如，到 s3/langfuse）。
• 在记录的请求中记录 'prompt_id' 和 'prompt_variables'（例如，到 s3/langfuse）。

从这里开始

团队/组织管理 + UI 改进​

在 UI 上管理团队和组织现在变得更容易了。

更改

• 支持在 UI 上编辑团队内的用户角色。
• 支持通过 API 将团队成员角色更新为管理员 - /team/member_update
• 向团队管理员显示其团队的所有密钥。
• 添加带预算的组织
• 在 UI 上将团队分配给组织
• 自动将 SSO 用户分配给团队

从这里开始

Hashicorp Vault 支持​

我们现在支持将 LiteLLM 虚拟 API 密钥写入 Hashicorp Vault。

从这里开始

自定义 Prometheus 指标​

定义自定义 Prometheus 指标，并跟踪针对它们的用量/延迟/请求数

这允许进行更精细的跟踪 - 例如，基于请求元数据中传递的 prompt 模板

从这里开始