跳至主要内容

添加 LLM 凭证

您可以在 UI 上添加 LLM 提供商凭证。添加凭证后,在添加新模型时可以重复使用它们。

添加凭证 + 模型

1. 导航至 LLM 凭证页面

前往 Models(模型) -> LLM Credentials(LLM 凭证) -> Add Credential(添加凭证)

2. 添加凭证

选择您的 LLM 提供商,输入 API Key 并点击“Add Credential”(添加凭证)

注意:凭证基于提供商。如果您选择 Vertex AI,将会看到 Vertex ProjectVertex LocationVertex Credentials 字段

3. 在添加模型时使用凭证

前往 Add Model(添加模型) -> Existing Credentials(现有凭证) -> 在下拉菜单中选择您的凭证

从现有模型创建凭证

如果您已经创建了一个模型,并希望存储该模型凭证以供将来使用,请使用此功能。

1. 选择要从中创建凭证的模型

前往 Models(模型) -> 选择您的模型 -> Credential(凭证) -> Create Credential(创建凭证)

2. 在添加模型时使用新凭证

前往 Add Model(添加模型) -> Existing Credentials(现有凭证) -> 在下拉菜单中选择您的凭证

使用情况跟踪

关联到可重复使用凭证的模型会自动在“使用情况”(Usage)页面中进行跟踪。每个请求都会被标记为 Credential: <name>,并显示在 Tag(标签)视图中,因此您无需任何额外配置即可按凭证筛选支出和使用情况。详情请参阅 凭证使用情况跟踪

常见问题解答

凭证是如何存储的?数据库中的凭证使用 LITELLM_SALT_KEY(如果已设置)进行加密/解密。如果未设置,则使用 LITELLM_MASTER_KEY 进行加密。这些密钥应严格保密,不得与他人共享。