StandardLoggingPayload 规范
位于 kwargs["standard_logging_object"]
下。这是一个标准负载,记录了每次成功和失败的响应。
StandardLoggingPayload
字段 | 类型 | 描述 |
---|---|---|
id | str | 唯一标识符 |
trace_id | str | 追踪属于同一总请求的多个 LLM 调用 |
call_type | str | 调用类型 |
response_cost | float | 响应成本 (美元) |
response_cost_failure_debug_info | StandardLoggingModelCostFailureDebugInformation | 成本跟踪失败时的调试信息 |
status | StandardLoggingPayloadStatus | 负载状态 |
total_tokens | int | 总 token 数 |
prompt_tokens | int | Prompt token 数 |
completion_tokens | int | Completion token 数 |
startTime | float | 调用开始时间 |
endTime | float | 调用结束时间 |
completionStartTime | float | 流式请求的首个 token 到达时间 |
response_time | float | 总响应时间。如果是流式,则为首个 token 到达时间 |
model_map_information | StandardLoggingModelInformation | 模型映射信息 |
model | str | 请求中发送的模型名称 |
model_id | Optional[str] | 使用的部署模型 ID |
model_group | Optional[str] | 用于请求的 model_group |
api_base | str | LLM API 基础 URL |
metadata | StandardLoggingMetadata | 元数据信息 |
cache_hit | Optional[bool] | 是否命中缓存 |
cache_key | Optional[str] | 可选缓存密钥 |
saved_cache_cost | float | 缓存节省的成本 |
request_tags | list | 请求标签列表 |
end_user | Optional[str] | 可选的终端用户标识符 |
requester_ip_address | Optional[str] | 可选的请求者 IP 地址 |
messages | Optional[Union[str, list, dict]] | 请求中发送的消息 |
response | Optional[Union[str, list, dict]] | LLM 响应 |
error_str | Optional[str] | 可选的错误字符串 |
error_information | Optional[StandardLoggingPayloadErrorInformation] | 可选的错误信息 |
model_parameters | dict | 模型参数 |
hidden_params | StandardLoggingHiddenParams | 隐藏参数 |
StandardLoggingUserAPIKeyMetadata
字段 | 类型 | 描述 |
---|---|---|
user_api_key_hash | Optional[str] | litellm 虚拟密钥的哈希值 |
user_api_key_alias | Optional[str] | API 密钥的别名 |
user_api_key_org_id | Optional[str] | 与密钥关联的组织 ID |
user_api_key_team_id | Optional[str] | 与密钥关联的团队 ID |
user_api_key_user_id | Optional[str] | 与密钥关联的用户 ID |
user_api_key_team_alias | Optional[str] | 与密钥关联的团队别名 |
StandardLoggingMetadata
继承自 StandardLoggingUserAPIKeyMetadata
并添加了
字段 | 类型 | 描述 |
---|---|---|
spend_logs_metadata | Optional[dict] | 用于支出日志记录的键值对 |
requester_ip_address | Optional[str] | 请求者的 IP 地址 |
requester_metadata | Optional[dict] | 额外的请求者元数据 |
vector_store_request_metadata | Optional[List[StandardLoggingVectorStoreRequest]] | 向量存储请求元数据 |
requester_custom_headers | Dict[str, str] | 客户端发送到代理的任何自定义 (x- ) 头。 |
guardrail_information | Optional[StandardLoggingGuardrailInformation] | 防护栏信息 |
StandardLoggingVectorStoreRequest
字段 | 类型 | 描述 |
---|---|---|
vector_store_id | Optional[str] | 向量存储 ID |
custom_llm_provider | Optional[str] | 与向量存储关联的自定义 LLM 提供商 (例如,bedrock, openai, anthropic) |
query | Optional[str] | 对向量存储的查询 |
vector_store_search_response | Optional[VectorStoreSearchResponse] | OpenAI 格式的向量存储搜索响应 |
start_time | Optional[float] | 向量存储请求开始时间 |
end_time | Optional[float] | 向量存储请求结束时间 |
StandardLoggingAdditionalHeaders
字段 | 类型 | 描述 |
---|---|---|
x_ratelimit_limit_requests | int | 请求的速率限制 |
x_ratelimit_limit_tokens | int | Token 的速率限制 |
x_ratelimit_remaining_requests | int | 速率限制中剩余的请求数 |
x_ratelimit_remaining_tokens | int | 速率限制中剩余的 token 数 |
StandardLoggingHiddenParams
字段 | 类型 | 描述 |
---|---|---|
model_id | Optional[str] | 可选模型 ID |
cache_key | Optional[str] | 可选缓存密钥 |
api_base | Optional[str] | 可选 API 基础 URL |
response_cost | Optional[str] | 可选的响应成本 |
additional_headers | Optional[StandardLoggingAdditionalHeaders] | 附加头 |
batch_models | Optional[List[str]] | 仅为 Batches API 设置。列出用于成本计算的模型 |
litellm_model_name | Optional[str] | 请求中发送的模型名称 |
StandardLoggingModelInformation
字段 | 类型 | 描述 |
---|---|---|
model_map_key | str | 模型映射键 |
model_map_value | Optional[ModelInfo] | 可选的模型信息 |
StandardLoggingModelCostFailureDebugInformation
字段 | 类型 | 描述 |
---|---|---|
error_str | str | 错误字符串 |
traceback_str | str | Traceback 字符串 |
model | str | 模型名称 |
cache_hit | Optional[bool] | 是否命中缓存 |
custom_llm_provider | Optional[str] | 可选的自定义 LLM 提供商 |
base_model | Optional[str] | 可选的基础模型 |
call_type | str | 调用类型 |
custom_pricing | Optional[bool] | 是否使用了自定义定价 |
StandardLoggingPayloadErrorInformation
字段 | 类型 | 描述 |
---|---|---|
error_code | Optional[str] | 可选错误码 (例如 "429") |
error_class | Optional[str] | 可选错误类 (例如 "RateLimitError") |
llm_provider | Optional[str] | 返回错误的 LLM 提供商 (例如 "openai")` |
StandardLoggingPayloadStatus
具有两个可能值的字面量类型
"success"
"failure"
StandardLoggingGuardrailInformation
字段 | 类型 | 描述 |
---|---|---|
guardrail_name | Optional[str] | 防护栏名称 |
guardrail_mode | Optional[Union[GuardrailEventHooks, List[GuardrailEventHooks]]] | 防护栏模式 |
guardrail_request | Optional[dict] | 防护栏请求 |
guardrail_response | Optional[Union[dict, str, List[dict]]] | 防护栏响应 |
guardrail_status | Literal["success", "failure"] | 防护栏状态 |
start_time | Optional[float] | 防护栏开始时间 |
end_time | Optional[float] | 防护栏结束时间 |
duration | Optional[float] | 防护栏持续时间(秒) |
masked_entity_count | Optional[Dict[str, int]] | 被遮蔽实体的计数 |