跳到主要内容

Microsoft SSO：LiteLLM 同步组、成员

将 Microsoft SSO 组、成员与 LiteLLM 团队同步。



先决条件​

  • 具有管理员访问权限的 Azure Entra ID 账户
  • 在 Azure Portal 中设置好的 LiteLLM Enterprise App
  • 访问 Microsoft Entra ID（Azure AD）

本教程概述​

  1. 在 LiteLLM 团队上自动创建 Entra ID 组
  2. 同步 Entra ID 团队成员资格
  3. 为在 LiteLLM 上自动创建的新团队和用户设置默认参数

1. 在 LiteLLM 团队上自动创建 Entra ID 组​

在此步骤中，我们的目标是让 LiteLLM 在 Azure Entra ID 上的 LiteLLM Enterprise App 中添加新组时，自动在 LiteLLM 数据库上创建一个新团队。

1.1 在 Entra ID 中创建一个新组​

导航到 您的 Azure Portal > 组 > 新建组。创建一个新组。

1.2 将组分配给您的 LiteLLM Enterprise App​

在您的 Azure Portal 中，导航到 企业应用程序 > 选择您的 litellm 应用



选择您的 litellm 应用后，点击 用户和组 > 添加用户/组


现在选择您在步骤 1.1 中创建的组，并将其添加到 LiteLLM Enterprise App。至此，我们已将 Production LLM Evals Group 添加到 LiteLLM Enterprise App 中。下一步是让 LiteLLM 在新用户登录时，自动在 LiteLLM 数据库上创建 Production LLM Evals Group。

1.3 通过 SSO 登录 LiteLLM UI​

通过 SSO 登录 LiteLLM UI。您将被重定向到 Entra ID SSO 页面。此 SSO 登录流程将触发 LiteLLM 从 Azure Entra ID 获取最新的组和成员信息。

1.4 在 LiteLLM UI 上查看新团队​

在 LiteLLM UI 上，导航到 团队，您应该会看到新团队 Production LLM Evals Group 已在 LiteLLM 上自动创建。

工作原理​

当 SSO 用户登录 LiteLLM 时

  • LiteLLM 自动获取 LiteLLM Enterprise App 下的组信息
  • 它会找到分配给 LiteLLM Enterprise App 的 Production LLM Evals Group
  • LiteLLM 检查此组的 ID 是否存在于 LiteLLM 团队表中
  • 由于该 ID 不存在，LiteLLM 会自动创建一个新团队，信息如下：
    • 名称：Production LLM Evals Group
    • ID：与 Entra ID 组的 ID 相同

2. 同步 Entra ID 团队成员资格​

在此步骤中，我们将让 LiteLLM 在新用户添加到 Entra ID 中的 Production LLM Evals 组时，自动将该用户添加到 LiteLLM 数据库上的 Production LLM Evals 团队中。

2.1 导航到 Entra ID 中的 Production LLM Evals 组​

导航到 Entra ID 中的 Production LLM Evals 组。

2.2 在 Entra ID 中为组添加成员​

选择 成员 > 添加成员

在此阶段，您应添加您想加入 Production LLM Evals 团队的用户。

2.3 作为新用户登录 LiteLLM UI​

作为新用户登录 LiteLLM UI。您将被重定向到 Entra ID SSO 页面。此 SSO 登录流程将触发 LiteLLM 从 Azure Entra ID 获取最新的组和成员信息。在此步骤中，LiteLLM 会将其团队、团队成员与 Entra ID 中的信息同步。

2.4 在 LiteLLM UI 上查看团队成员资格​

在 LiteLLM UI 上，导航到 团队，您应该会看到新团队 Production LLM Evals Group。由于您现在是 Entra ID 中 Production LLM Evals Group 的成员，您应该能在 LiteLLM UI 上看到新团队 Production LLM Evals Group。

3. 为在 LiteLLM 上自动创建的新团队设置默认参数​

由于 liteLLM 在 Azure Entra ID 上的 LiteLLM Enterprise App 中添加新组时，会自动在 LiteLLM 数据库上创建一个新团队，因此我们可以为新创建的团队设置默认参数。

这允许您为新创建的团队设置默认预算、模型等。

3.1 在 liteLLM 上设置 default_team_params​

导航到您的 litellm 配置文件并设置以下参数

带有 default_team_params 的 litellm 配置
litellm_settings:
  default_team_params:             # Default Params to apply when litellm auto creates a team from SSO IDP provider
    max_budget: 100                # Optional[float], optional): $100 budget for the team
    budget_duration: 30d           # Optional[str], optional): 30 days budget_duration for the team
    models: ["gpt-3.5-turbo"]      # Optional[List[str]], optional): models to be used by the team

3.2 在 LiteLLM 上自动创建一个新团队​

  • 在此步骤中，您应该向 Azure Entra ID 上的 LiteLLM Enterprise App 添加一个新组（就像我们在步骤 1.1 中做的那样）。我们将在 Azure Entra ID 上将此组命名为 Default LiteLLM Prod Team。
  • 使用您的配置启动 litellm 代理服务器
  • 通过 SSO 登录 LiteLLM UI
  • 导航到 团队，您应该会看到新团队 Default LiteLLM Prod Team 已在 LiteLLM 上自动创建
  • 注意：LiteLLM 将为此新团队设置默认参数。

视频演练​

本视频演练了如何为 Microsoft Entra ID 设置 SSO 自动添加功能

观看此视频，了解如何使用 Microsoft Entra ID 进行设置的详细演练