跳到主要内容

StandardLoggingPayload 规范

位于 kwargs["standard_logging_object"] 下。这是一个标准负载,记录了每次成功和失败的响应。

StandardLoggingPayload

字段类型描述
idstr唯一标识符
trace_idstr追踪属于同一总请求的多个 LLM 调用
call_typestr调用类型
response_costfloat响应成本 (美元)
response_cost_failure_debug_infoStandardLoggingModelCostFailureDebugInformation成本跟踪失败时的调试信息
statusStandardLoggingPayloadStatus负载状态
total_tokensint总 token 数
prompt_tokensintPrompt token 数
completion_tokensintCompletion token 数
startTimefloat调用开始时间
endTimefloat调用结束时间
completionStartTimefloat流式请求的首个 token 到达时间
response_timefloat总响应时间。如果是流式,则为首个 token 到达时间
model_map_informationStandardLoggingModelInformation模型映射信息
modelstr请求中发送的模型名称
model_idOptional[str]使用的部署模型 ID
model_groupOptional[str]用于请求的 model_group
api_basestrLLM API 基础 URL
metadataStandardLoggingMetadata元数据信息
cache_hitOptional[bool]是否命中缓存
cache_keyOptional[str]可选缓存密钥
saved_cache_costfloat缓存节省的成本
request_tagslist请求标签列表
end_userOptional[str]可选的终端用户标识符
requester_ip_addressOptional[str]可选的请求者 IP 地址
messagesOptional[Union[str, list, dict]]请求中发送的消息
responseOptional[Union[str, list, dict]]LLM 响应
error_strOptional[str]可选的错误字符串
error_informationOptional[StandardLoggingPayloadErrorInformation]可选的错误信息
model_parametersdict模型参数
hidden_paramsStandardLoggingHiddenParams隐藏参数

StandardLoggingUserAPIKeyMetadata

字段类型描述
user_api_key_hashOptional[str]litellm 虚拟密钥的哈希值
user_api_key_aliasOptional[str]API 密钥的别名
user_api_key_org_idOptional[str]与密钥关联的组织 ID
user_api_key_team_idOptional[str]与密钥关联的团队 ID
user_api_key_user_idOptional[str]与密钥关联的用户 ID
user_api_key_team_aliasOptional[str]与密钥关联的团队别名

StandardLoggingMetadata

继承自 StandardLoggingUserAPIKeyMetadata 并添加了

字段类型描述
spend_logs_metadataOptional[dict]用于支出日志记录的键值对
requester_ip_addressOptional[str]请求者的 IP 地址
requester_metadataOptional[dict]额外的请求者元数据
vector_store_request_metadataOptional[List[StandardLoggingVectorStoreRequest]]向量存储请求元数据
requester_custom_headersDict[str, str]客户端发送到代理的任何自定义 (x-) 头。
guardrail_informationOptional[StandardLoggingGuardrailInformation]防护栏信息

StandardLoggingVectorStoreRequest

字段类型描述
vector_store_idOptional[str]向量存储 ID
custom_llm_providerOptional[str]与向量存储关联的自定义 LLM 提供商 (例如,bedrock, openai, anthropic)
queryOptional[str]对向量存储的查询
vector_store_search_responseOptional[VectorStoreSearchResponse]OpenAI 格式的向量存储搜索响应
start_timeOptional[float]向量存储请求开始时间
end_timeOptional[float]向量存储请求结束时间

StandardLoggingAdditionalHeaders

字段类型描述
x_ratelimit_limit_requestsint请求的速率限制
x_ratelimit_limit_tokensintToken 的速率限制
x_ratelimit_remaining_requestsint速率限制中剩余的请求数
x_ratelimit_remaining_tokensint速率限制中剩余的 token 数

StandardLoggingHiddenParams

字段类型描述
model_idOptional[str]可选模型 ID
cache_keyOptional[str]可选缓存密钥
api_baseOptional[str]可选 API 基础 URL
response_costOptional[str]可选的响应成本
additional_headersOptional[StandardLoggingAdditionalHeaders]附加头
batch_modelsOptional[List[str]]仅为 Batches API 设置。列出用于成本计算的模型
litellm_model_nameOptional[str]请求中发送的模型名称

StandardLoggingModelInformation

字段类型描述
model_map_keystr模型映射键
model_map_valueOptional[ModelInfo]可选的模型信息

StandardLoggingModelCostFailureDebugInformation

字段类型描述
error_strstr错误字符串
traceback_strstrTraceback 字符串
modelstr模型名称
cache_hitOptional[bool]是否命中缓存
custom_llm_providerOptional[str]可选的自定义 LLM 提供商
base_modelOptional[str]可选的基础模型
call_typestr调用类型
custom_pricingOptional[bool]是否使用了自定义定价

StandardLoggingPayloadErrorInformation

字段类型描述
error_codeOptional[str]可选错误码 (例如 "429")
error_classOptional[str]可选错误类 (例如 "RateLimitError")
llm_providerOptional[str]返回错误的 LLM 提供商 (例如 "openai")`

StandardLoggingPayloadStatus

具有两个可能值的字面量类型

  • "success"
  • "failure"

StandardLoggingGuardrailInformation

字段类型描述
guardrail_nameOptional[str]防护栏名称
guardrail_modeOptional[Union[GuardrailEventHooks, List[GuardrailEventHooks]]]防护栏模式
guardrail_requestOptional[dict]防护栏请求
guardrail_responseOptional[Union[dict, str, List[dict]]]防护栏响应
guardrail_statusLiteral["success", "failure"]防护栏状态
start_timeOptional[float]防护栏开始时间
end_timeOptional[float]防护栏结束时间
durationOptional[float]防护栏持续时间(秒)
masked_entity_countOptional[Dict[str, int]]被遮蔽实体的计数