跳到主要内容

v1.57.7

Krrish Dholakia
Ishaan Jaffer

langfuse, 管理端点, UI, prometheus, 密钥管理

Langfuse Prompt 管理​

Langfuse Prompt 管理被标记为 BETA（测试版）。这使得我们能够快速根据收到的反馈进行迭代，并向用户更清晰地表明其状态。我们预计此功能将在下个月（2025 年 2 月）达到稳定版本。

变更

  • 在 LLM API 请求中包含客户端消息。（之前仅发送提示词模板，客户端消息被忽略）。
  • 在记录的请求中记录提示词模板（例如，到 s3/langfuse）。
  • 在记录的请求中记录 'prompt_id' 和 'prompt_variables'（例如，到 s3/langfuse）。

从这里开始

团队/组织管理 + UI 改进​

现在通过 UI 管理团队和组织更加容易了。

变更

  • 支持在 UI 上编辑团队内的用户角色。
  • 支持通过 API 将团队成员角色更新为管理员 - /team/member_update
  • 向团队管理员显示其团队的所有密钥。
  • 添加带有预算的组织
  • 在 UI 上将团队分配给组织
  • 自动将 SSO 用户分配给团队

从这里开始

Hashicorp Vault 支持​

我们现在支持将 LiteLLM 虚拟 API 密钥写入 Hashicorp Vault。

从这里开始

自定义 Prometheus 指标​

定义自定义 prometheus 指标，并跟踪其使用情况/延迟/请求数量

这使得跟踪更加细粒度 - 例如，根据请求元数据中传递的提示词模板进行跟踪

从这里开始