客户使用情况
直接在仪表板中跟踪并可视化终端用户支出。监控客户层面的使用分析、支出日志和活动指标,以了解您的客户如何使用您的 LLM 服务。
此功能在 v1.80.8-stable 及更高版本中可用。
概述
“客户使用情况”功能允许您通过在 API 请求中传递 ID 来跟踪各个客户(终端用户)的支出和使用情况。这使您能够:
- 自动跟踪每位客户的支出
- 在管理界面 (Admin UI) 中查看客户层面的使用分析
- 按客户 ID 筛选支出日志和活动指标
- 为每位客户设置预算和速率限制
- 监控客户的使用模式和趋势
如何跟踪支出
通过在 API 请求中包含 user 字段或传递客户 ID 请求头来跟踪客户支出。客户 ID 将被自动跟踪并关联到该请求产生的所有支出。
- 请求体
- 请求头
使用请求体
发出 /chat/completions 调用,并在 user 字段中包含您的客户 ID
curl -X POST 'http://0.0.0.0:4000/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer sk-1234' \
--data '{
"model": "gpt-3.5-turbo",
"user": "customer-123",
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
]
}'
使用请求头
您还可以通过 HTTP 请求头传递客户 ID。这对于支持自定义请求头但无法修改请求体的工具(例如使用 ANTHROPIC_CUSTOM_HEADERS 的 Claude Code)非常有用。
LiteLLM 会自动识别以下标准请求头(无需配置):
x-litellm-customer-idx-litellm-end-user-id
curl -X POST 'http://0.0.0.0:4000/chat/completions' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer sk-1234' \
--header 'x-litellm-customer-id: customer-123' \
--data '{
"model": "gpt-3.5-turbo",
"messages": [
{
"role": "user",
"content": "What is the capital of France?"
}
]
}'
与 Claude Code 配合使用
Claude Code 通过 ANTHROPIC_CUSTOM_HEADERS 环境变量支持自定义请求头。设置它以传递您的客户 ID:
export ANTHROPIC_BASE_URL="http://0.0.0.0:4000/v1/messages"
export ANTHROPIC_API_KEY="sk-1234"
export ANTHROPIC_CUSTOM_HEADERS="x-litellm-customer-id: my-customer-id"
现在,Claude Code 发出的所有请求都将自动跟踪 my-customer-id 下的支出。
客户 ID 将连同新的支出自动插入(或更新)到数据库中。如果客户 ID 已存在,支出将会累加。
使用 OpenWebUI 的示例
请参阅 Open WebUI 教程,了解将 Open WebUI 连接到 LiteLLM 并跟踪客户使用情况的详细说明。
如何查看支出
在管理界面中查看支出
导航到管理界面中的“客户使用情况”选项卡,查看客户层面的支出分析。
1. 访问客户使用情况
转到管理界面中的“使用情况”页面 (PROXY_BASE_URL/ui/?login=success&page=new_usage),然后点击客户使用情况选项卡。
2. 查看客户分析
“客户使用情况”仪表板提供:
- 每位客户的总支出:查看所有客户的汇总支出
- 每日支出趋势:查看客户支出随时间的变化情况
- 模型使用情况明细:了解每位客户使用的模型
- 活动指标:跟踪每位客户的请求数、Token 数和成功率
3. 按客户筛选
使用客户筛选下拉菜单查看特定客户的支出:
- 从下拉菜单中选择一个或多个客户 ID
- 查看筛选后的分析、支出日志和活动指标
- 比较不同客户之间的支出
用例
客户账单
通过跟踪每位客户的支出,准确地向您的终端用户收费:
- 监控个人客户的使用情况
- 根据实际支出生成发票
- 设置每位客户的消费限额
使用分析
了解不同客户如何使用您的服务:
- 识别高价值客户
- 分析使用模式
- 优化资源分配
相关功能
- 客户 / 终端用户预算 - 为客户设置预算和速率限制
- 成本跟踪 - 全面的成本跟踪和分析
- 账单 - 根据客户的使用情况进行收费