跳至主要内容

客户使用情况

直接在仪表板中跟踪并可视化终端用户支出。监控客户层面的使用分析、支出日志和活动指标,以了解您的客户如何使用您的 LLM 服务。

此功能在 v1.80.8-stable 及更高版本中可用

概述

“客户使用情况”功能允许您通过在 API 请求中传递 ID 来跟踪各个客户(终端用户)的支出和使用情况。这使您能够:

  • 自动跟踪每位客户的支出
  • 在管理界面 (Admin UI) 中查看客户层面的使用分析
  • 按客户 ID 筛选支出日志和活动指标
  • 为每位客户设置预算和速率限制
  • 监控客户的使用模式和趋势

如何跟踪支出

通过在 API 请求中包含 user 字段或传递客户 ID 请求头来跟踪客户支出。客户 ID 将被自动跟踪并关联到该请求产生的所有支出。

使用请求体

发出 /chat/completions 调用,并在 user 字段中包含您的客户 ID

使用请求体中的客户 ID 跟踪支出
curl -X POST 'http://0.0.0.0:4000/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer sk-1234' \
--data '{
"model": "gpt-3.5-turbo",
"user": "customer-123",
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
]
}'

客户 ID 将连同新的支出自动插入(或更新)到数据库中。如果客户 ID 已存在,支出将会累加。

使用 OpenWebUI 的示例

请参阅 Open WebUI 教程,了解将 Open WebUI 连接到 LiteLLM 并跟踪客户使用情况的详细说明。

如何查看支出

在管理界面中查看支出

导航到管理界面中的“客户使用情况”选项卡,查看客户层面的支出分析。

1. 访问客户使用情况

转到管理界面中的“使用情况”页面 (PROXY_BASE_URL/ui/?login=success&page=new_usage),然后点击客户使用情况选项卡。

2. 查看客户分析

“客户使用情况”仪表板提供:

  • 每位客户的总支出:查看所有客户的汇总支出
  • 每日支出趋势:查看客户支出随时间的变化情况
  • 模型使用情况明细:了解每位客户使用的模型
  • 活动指标:跟踪每位客户的请求数、Token 数和成功率

3. 按客户筛选

使用客户筛选下拉菜单查看特定客户的支出:

  • 从下拉菜单中选择一个或多个客户 ID
  • 查看筛选后的分析、支出日志和活动指标
  • 比较不同客户之间的支出

用例

客户账单

通过跟踪每位客户的支出,准确地向您的终端用户收费:

  • 监控个人客户的使用情况
  • 根据实际支出生成发票
  • 设置每位客户的消费限额

使用分析

了解不同客户如何使用您的服务:

  • 识别高价值客户
  • 分析使用模式
  • 优化资源分配