跳到主要内容

大规模使用(数据库中超过 100 万行)

本文档是关于当 LiteLLM 消费日志数据库中的记录超过 100 万行时,如何使用 LiteLLM 代理的指南。

为什么禁用 UI 使用跟踪?

  • LiteLLM_Spend_Logs 进行繁重的数据库查询(一旦它有超过 100 万行记录)可能会减慢您的 LLM API 请求速度。我们不希望发生这种情况

使用跟踪解决方案

步骤 1. 将日志导出到云存储

步骤 2. 分析数据

[可选]步骤 3. 禁用对 LiteLLM 数据库的消费和错误日志记录

请参阅此处说明

禁用此功能将防止您的 LiteLLM 数据库大小增长,从而有助于提升性能(防止健康检查失败)。

需要集成吗?请联系我们