数据库中存储了什么
LiteLLM 代理使用 PostgreSQL 数据库存储各种信息。以下是数据库主要用于的功能:
- 虚拟密钥、组织、团队、用户、预算等等。
- 按请求的使用量追踪
数据库模式链接
您可以在此处查看完整的数据库模式
数据库表
组织、团队、用户、终端用户
表名 | 描述 | 行插入频率 |
---|---|---|
LiteLLM_OrganizationTable | 管理组织级配置。追踪组织消费、模型访问和元数据。链接到预算配置和团队。 | 低 |
LiteLLM_TeamTable | 处理组织内的团队级设置。管理团队成员、管理员及其角色。控制团队特定的预算、速率限制和模型访问。 | 低 |
LiteLLM_UserTable | 存储用户信息及其设置。追踪单个用户消费、模型访问和速率限制。管理用户角色和团队成员身份。 | 低 |
LiteLLM_EndUserTable | 管理终端用户配置。控制模型访问和区域要求。追踪终端用户消费。 | 低 |
LiteLLM_TeamMembership | 追踪用户在团队中的参与情况。管理团队特定的用户预算和消费。 | 低 |
LiteLLM_OrganizationMembership | 管理用户在组织中的角色。追踪组织特定的用户权限和消费。 | 低 |
LiteLLM_InvitationLink | 处理用户邀请。管理邀请状态和过期。追踪邀请的创建者和接受者。 | 低 |
LiteLLM_UserNotifications | 处理模型访问请求。追踪用户对模型访问的请求。管理审批状态。 | 低 |
认证
表名 | 描述 | 行插入频率 |
---|---|---|
LiteLLM_VerificationToken | 管理虚拟密钥及其权限。控制令牌特定的预算、速率限制和模型访问。追踪密钥特定的消费和元数据。 | 中 - 存储所有虚拟密钥 |
模型 (LLM) 管理
表名 | 描述 | 行插入频率 |
---|---|---|
LiteLLM_ProxyModelTable | 存储模型配置。定义可用模型及其参数。包含模型特定的信息和设置。 | 低 - 仅配置 |
预算管理
表名 | 描述 | 行插入频率 |
---|---|---|
LiteLLM_BudgetTable | 存储组织、密钥和终端用户的预算和速率限制配置。追踪最大预算、软预算、TPM/RPM 限制和模型特定的预算。处理预算持续时间和重置时间。 | 低 - 仅配置 |
追踪与日志记录
表名 | 描述 | 行插入频率 |
---|---|---|
LiteLLM_SpendLogs | 所有 API 请求的详细日志。记录令牌使用量、消费和时间信息。追踪使用了哪些模型和密钥。 | 高 - 每个 LLM API 请求 - 成功或失败 |
LiteLLM_AuditLog | 追踪系统配置的更改。记录更改者和更改内容。维护团队、用户和模型的更新历史记录。 | 默认关闭,高 - 启用时 |
禁用 LiteLLM_SpendLogs
您可以通过在 proxy_config.yaml 文件的 general_settings
部分将 disable_spend_logs
和 disable_error_logs
设置为 True
来禁用消费日志和错误日志。
general_settings:
disable_spend_logs: True # Disable writing spend logs to DB
disable_error_logs: True # Only disable writing error logs to DB, regular spend logs will still be written unless `disable_spend_logs: True`
禁用这些日志有什么影响?
禁用消费日志时 (disable_spend_logs: True
)
- 您将无法在 LiteLLM UI 上查看使用量。
- 您将仍会在 s3、Prometheus、Langfuse(以及您使用的任何其他日志记录集成)上看到成本指标。
禁用错误日志时 (disable_error_logs: True
)
- 您将无法在 LiteLLM UI 上查看错误。
- 您将仍会在您的应用程序日志以及您使用的任何其他日志记录集成中看到错误日志。
迁移数据库
如果您需要迁移数据库,应复制以下表格以确保服务连续性且无停机时间:
表名 | 描述 |
---|---|
LiteLLM_VerificationToken | 必需 以确保现有虚拟密钥继续工作 |
LiteLLM_UserTable | 必需 以确保现有虚拟密钥继续工作 |
LiteLLM_TeamTable | 必需 以确保团队被迁移 |
LiteLLM_TeamMembership | 必需 以确保团队成员预算被迁移 |
LiteLLM_BudgetTable | 必需 以迁移现有预算设置 |
LiteLLM_OrganizationTable | 可选 仅在数据库中使用组织功能时迁移 |
LiteLLM_OrganizationMembership | 可选 仅在数据库中使用组织功能时迁移 |
LiteLLM_ProxyModelTable | 可选 仅在数据库中存储 LLM 时迁移 (即您设置了 STORE_MODEL_IN_DB=True ) |
LiteLLM_SpendLogs | 可选 仅在 LiteLLM UI 上需要历史数据时迁移 |
LiteLLM_ErrorLogs | 可选 仅在 LiteLLM UI 上需要历史数据时迁移 |