跳至主要内容

UI 日志入门

查看 LiteLLM 每次请求的花费、Token 使用量、Key 和团队名称

概述

日志类型默认追踪
成功日志✅ 是
错误日志✅ 是
存储请求/响应内容❌ 默认不存储,通过 store_prompts_in_spend_logs 开启

LiteLLM 默认不会追踪请求和响应内容。

追踪 - 在日志页面中记录请求/响应内容

如果您想在 LiteLLM 日志中查看请求和响应内容,可以通过以下两种方式之一启用:

  • 通过 UI(无需重启): 使用 UI 花费日志设置 — 打开日志 (Logs) → 设置 (Settings) → 启用 “Store Prompts in Spend Logs” → 保存。即刻生效,且优先级高于配置文件。
  • 通过配置文件: 将此内容添加到您的 proxy_config.yaml(需要重启)
general_settings:
store_prompts_in_spend_logs: true

追踪工具 (Tracing Tools)

查看补全请求中提供了哪些工具以及调用了哪些工具。

示例: 发起带有工具的补全请求

curl -X POST 'https://:4000/chat/completions' \
-H 'Authorization: Bearer sk-1234' \
-H 'Content-Type: application/json' \
-d '{
"model": "gpt-4",
"messages": [{"role": "user", "content": "What is the weather?"}],
"tools": [
{
"type": "function",
"function": {
"name": "get_weather",
"description": "Get the current weather",
"parameters": {
"type": "object",
"properties": {
"location": {"type": "string"}
}
}
}
}
]
}'

检查日志页面,查看所有提供的工具以及哪些工具被调用了。

停止在数据库中存储错误日志

如果您不想在数据库中存储错误日志,可以使用此设置关闭该功能

general_settings:
disable_error_logs: True # Only disable writing error logs to DB, regular spend logs will still be written unless `disable_spend_logs: True`

停止在数据库中存储花费日志

如果您不想在数据库中存储花费日志,可以使用此设置关闭该功能

general_settings:
disable_spend_logs: True # Disable writing spend logs to DB

自动删除旧的花费日志

如果您正在存储花费日志,定期删除它们以保持数据库运行速度可能是一个好主意。

您可以通过以下两种方式之一设置保留期限

  • 通过 UI(无需重启): UI 花费日志设置 — 日志 (Logs) → 设置 (Settings) → 设置保留期限 (Retention Period) → 保存。
  • 通过配置文件: 将以下内容添加到您的 proxy_config.yaml(需要重启)
general_settings:
maximum_spend_logs_retention_period: "7d" # Delete logs older than 7 days

# Optional: how often to run cleanup
maximum_spend_logs_retention_interval: "1d" # Run once per day

您可以使用此环境变量控制每次运行删除多少条日志

SPEND_LOG_RUN_LOOPS=200 # 一次运行最多删除 200,000 条日志

设置 SPEND_LOG_CLEANUP_BATCH_SIZE 来控制每批次删除多少条日志(默认值为 1000)。

有关详细架构及其工作原理,请参阅 花费日志删除

记录了什么?

这里是 schema 关于记录内容的详细解析。