跳到主要内容

调试

支持 2 个级别的调试。

  • debug（打印信息日志）
  • detailed debug（打印调试日志）

代理还支持 json 日志。参见此处

debug​

通过 cli

$ litellm --debug

通过环境变量

os.environ["LITELLM_LOG"] = "INFO"

detailed debug​

通过 cli

$ litellm --detailed_debug

通过环境变量

os.environ["LITELLM_LOG"] = "DEBUG"

调试日志​

使用 --detailed_debug 运行代理以查看详细调试日志

litellm --config /path/to/config.yaml --detailed_debug

发送请求时，您应该在终端输出中看到 LiteLLM 发送给 LLM 的 POST 请求

POST Request Sent from LiteLLM:
curl -X POST \
https://api.openai.com/v1/chat/completions \
-H 'content-type: application/json' -H 'Authorization: Bearer sk-qnWGUIW9****************************************' \
-d '{"model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": "this is a test request, write a short poem"}]}'

JSON 日志​

在您的环境变量中设置 JSON_LOGS="True"

export JSON_LOGS="True"

或

在您的 yaml 文件中设置 json_logs: true

litellm_settings:
    json_logs: true

启动代理

$ litellm

代理现在将所有日志输出为 json 格式。

控制日志输出​

关闭 fastapi 的默认 'INFO' 日志

  1. 开启 'json 日志'
litellm_settings:
    json_logs: true
  1. 将 LITELLM_LOG 设置为 'ERROR'

仅在发生错误时获取日志。

LITELLM_LOG="ERROR"
  1. 启动代理
$ litellm

预期输出

# no info statements

常见错误​

  1. "无可用部署..."
No deployments available for selected model, Try again in 60 seconds. Passed model=claude-3-5-sonnet. pre-call-checks=False, allowed_model_region=n/a.

这可能是因为您的所有模型都触发了速率限制错误，导致进入冷却期。

如何控制？

  • 调整冷却时间
router_settings:
    cooldown_time: 0 # 👈 KEY CHANGE
  • 禁用冷却[不推荐]
router_settings:
    disable_cooldowns: True

不推荐这样做，因为它会导致请求被路由到超出其 tpm/rpm 限制的部署。