跳到主要内容

3 篇标记为 "langfuse" 的文章

查看所有标签

Krrish Dholakia
Ishaan Jaffer

告警, prometheus, 密钥管理, 管理端点, ui, prompt 管理, 微调, 批量

新增/更新的模型​

  1. Mistral large 定价 - https://github.com/BerriAI/litellm/pull/7452
  2. Cohere command-r7b-12-2024 定价 - https://github.com/BerriAI/litellm/pull/7553/files
  3. Voyage - 新模型、价格和上下文窗口信息 - https://github.com/BerriAI/litellm/pull/7472
  4. Anthropic - 将 Bedrock claude-3-5-haiku 的 max_output_tokens 提升至 8192

通用代理改进​

  1. 支持实时模型的健康检查
  2. 支持通过虚拟密钥调用 Azure 实时路由
  3. 支持在 /utils/token_counter 上使用自定义分词器 - 在检查自托管模型的 token 计数时很有用
  4. 请求优先级 - 同时支持 /v1/completion 端点

LLM 相关功能改进​

  1. 支持 Deepgram STT。 从这里开始
  2. 支持 OpenAI Moderations - omni-moderation-latest。 从这里开始
  3. Azure O1 - 支持模拟流式传输。这确保如果传入 stream=true，响应会以流式传输。 从这里开始
  4. Anthropic - 非空白字符停止序列处理 - PR
  5. Azure OpenAI - 支持基于 Entra ID 用户名 + 密码的身份验证。 从这里开始
  6. LM Studio - 支持 Embedding 路由。 从这里开始
  7. WatsonX - 支持 ZenAPIKeyAuth。 从这里开始

Prompt 管理改进​

  1. Langfuse 集成
  2. HumanLoop 集成
  3. 支持使用负载均衡的模型
  4. 支持从 Prompt 管理器加载可选参数

从这里开始

微调 + 批量 API 改进​

  1. 改进了对 Vertex AI 微调的统一端点支持 - PR
  2. 添加了对检索 Vertex API 批量作业的支持 - PR

新增 告警集成​

PagerDuty 告警集成。

处理两种类型的告警

  • LLM API 失败率过高。配置在 Y 秒内发生 X 次失败以触发告警。
  • LLM 请求挂起数量过多。配置在 Y 秒内挂起 X 次以触发告警。

从这里开始

Prometheus 改进​

添加了对基于自定义指标跟踪延迟/花费/token 的支持。 从这里开始

新增 Hashicorp Secret Manager 支持​

支持读取凭据 + 写入 LLM API 密钥。 从这里开始

管理端点 / UI 改进​

  1. 在代理 UI 上创建和查看组织 + 分配组织管理员
  2. 支持按 key_alias 删除密钥
  3. 允许在 UI 上将团队分配给组织
  4. 禁用在“测试密钥”面板中使用 UI 会话 token
  5. 在“测试密钥”面板中显示使用的模型
  6. 在“测试密钥”面板中支持 Markdown 输出

Helm 改进​

  1. 防止 istio 对数据库迁移 cron 作业进行注入
  2. 允许在作业中使用 migrationJob.enabled 变量

日志记录改进​

  1. braintrust 日志记录：遵守 project_id，添加更多指标 - https://github.com/BerriAI/litellm/pull/7613
  2. Athina - 支持基础 URL - ATHINA_BASE_URL
  3. Lunary - 允许将自定义父运行 ID 传递给 LLM 调用

Git Diff​

这是 v1.56.3-stable 和 v1.57.8-stable 之间的差异。

使用此功能查看代码库中的更改。

Git Diff

Krrish Dholakia
Ishaan Jaffer

langfuse, 管理端点, UI, prometheus, 密钥管理

Langfuse Prompt 管理​

Langfuse Prompt 管理被标记为 BETA。这使我们能够根据收到的反馈快速迭代，并向用户更清楚地表明其状态。我们预计该功能将在下个月（2025 年 2 月）变得稳定。

更改

  • 在 LLM API 请求中包含客户端消息。（之前只发送 Prompt 模板，而忽略客户端消息）。
  • 在记录的请求中记录 Prompt 模板（例如，到 s3/langfuse）。
  • 在记录的请求中记录 'prompt_id' 和 'prompt_variables'（例如，到 s3/langfuse）。

从这里开始

团队/组织管理 + UI 改进​

现在在 UI 上管理团队和组织更容易了。

更改

  • 支持在 UI 上编辑团队内用户角色。
  • 支持通过 API (/team/member_update) 将团队成员角色更新为管理员。
  • 向团队管理员显示其团队的所有密钥。
  • 添加带有预算的组织
  • 在 UI 上将团队分配给组织
  • 将 SSO 用户自动分配给团队

从这里开始

Hashicorp Vault 支持​

我们现在支持将 LiteLLM 虚拟 API 密钥写入 Hashicorp Vault。

从这里开始

自定义 Prometheus 指标​

定义自定义 Prometheus 指标，并跟踪针对它们的用量/延迟/请求数

这允许进行更精细的跟踪 - 例如，基于请求元数据中传递的 Prompt 模板

从这里开始

Krrish Dholakia
Ishaan Jaffer

一个新的 LiteLLM Stable 版本 刚刚发布。以下是自 v1.52.2-stable 以来的 5 项更新。

langfuse, 回退, 新模型, azure_storage

Langfuse Prompt 管理​

这使得在 Langfuse 上轻松进行实验或将特定模型从 gpt-4o 更改为 gpt-4o-mini 成为可能，而无需修改您的应用程序。 从这里开始

客户端控制回退 Prompt​

Claude 的 Prompt 与 OpenAI 不同

在执行回退时传入模型特定的 Prompt。 从这里开始

新增提供商 / 模型​

✨ 支持 Azure Data Lake Storage​

将 LLM 用量（花费、token）数据发送到 Azure Data Lake。这使得在其他服务（如 Databricks）上消费用量数据变得容易。 从这里开始

Docker 运行 LiteLLM​

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:litellm_stable_release_branch-v1.55.8-stable

获取每日更新​

LiteLLM 每天发布新版本。在 LinkedIn 上关注我们获取每日更新。