添加 LLM 凭证
您可以在 UI 上添加 LLM 提供商凭证。添加凭证后,在添加新模型时可以重复使用它们。
添加凭证 + 模型
1. 导航至 LLM 凭证页面
前往 Models(模型) -> LLM Credentials(LLM 凭证) -> Add Credential(添加凭证)
2. 添加凭证
选择您的 LLM 提供商,输入 API Key 并点击“Add Credential”(添加凭证)
注意:凭证基于提供商。如果您选择 Vertex AI,将会看到 Vertex Project、Vertex Location 和 Vertex Credentials 字段
3. 在添加模型时使用凭证
前往 Add Model(添加模型) -> Existing Credentials(现有凭证) -> 在下拉菜单中选择您的凭证
从现有模型创建凭证
如果您已经创建了一个模型,并希望存储该模型凭证以供将来使用,请使用此功能。
1. 选择要从中创建凭证的模型
前往 Models(模型) -> 选择您的模型 -> Credential(凭证) -> Create Credential(创建凭证)
2. 在添加模型时使用新凭证
前往 Add Model(添加模型) -> Existing Credentials(现有凭证) -> 在下拉菜单中选择您的凭证
使用情况跟踪
关联到可重复使用凭证的模型会自动在“使用情况”(Usage)页面中进行跟踪。每个请求都会被标记为 Credential: <name>,并显示在 Tag(标签)视图中,因此您无需任何额外配置即可按凭证筛选支出和使用情况。详情请参阅 凭证使用情况跟踪。
常见问题解答
凭证是如何存储的?数据库中的凭证使用 LITELLM_SALT_KEY(如果已设置)进行加密/解密。如果未设置,则使用 LITELLM_MASTER_KEY 进行加密。这些密钥应严格保密,不得与他人共享。