跳至主要内容

LiteLLM Proxy CLI

litellm-proxy CLI 是一个用于管理你的 LiteLLM 代理服务器的命令行工具。它提供了管理模型、凭证、API 密钥、用户等命令，以及向代理服务器发送聊天和 HTTP 请求的功能。

功能你可以做的事情
模型管理列出、添加、更新和删除模型
凭证管理管理提供商凭证
密钥管理生成、列出和删除 API 密钥
用户管理创建、列出和删除用户
聊天完成运行聊天补全
HTTP 请求向代理服务器发送自定义 HTTP 请求

快速入门​

  1. 安装 CLI

    如果你已经安装了 uv，你可以尝试这个

    uv tool install 'litellm[proxy]'

    如果成功，你将看到类似这样的内容

    ...
    Installed 2 executables: litellm, litellm-proxy

    现在你可以在终端中输入 litellm-proxy 来使用该工具了

    litellm-proxy

  2. 设置环境变量

    export LITELLM_PROXY_URL=https://:4000
    export LITELLM_PROXY_API_KEY=sk-your-key

    (替换为你的实际代理 URL 和 API 密钥)

  3. 发送你的第一个请求（列出模型）

    litellm-proxy models list

    如果 CLI 设置正确，你应该会看到一个可用模型的列表或表格输出。

  4. 故障排除

    • 如果看到错误，请检查你的环境变量和代理服务器状态。

使用 CLI 进行身份验证​

你可以使用 CLI 向 LiteLLM Gateway 进行身份验证。如果你想为大量开发者提供自助访问 LiteLLM Gateway 的权限，这将非常有用。

信息

有关详细指南，请参阅 CLI 身份验证。

先决条件​

Beta 功能 - 必需的环境变量

CLI SSO 身份验证目前处于 Beta 阶段。你必须在启动 LiteLLM 代理时设置此环境变量

export EXPERIMENTAL_UI_LOGIN="True"
litellm --config config.yaml

或者将其添加到你的代理启动命令中

EXPERIMENTAL_UI_LOGIN="True" litellm --config config.yaml

步骤​

  1. 设置代理 URL

    export LITELLM_PROXY_URL=https://:4000

    (替换为你的实际代理 URL)

  2. 登录

    litellm-proxy login

    这将打开一个浏览器窗口进行身份验证。如果你已将 LiteLLM 代理连接到你的 SSO 提供程序，你可以使用你的 SSO 凭证登录。登录后，你可以使用 CLI 向 LiteLLM Gateway 发送请求。

  3. 测试你的身份验证

    litellm-proxy models list

    这将列出对你可用的所有模型。

主要命令​

模型管理​

  • 列出、添加、更新、获取和删除代理上的模型。

  • 示例

    litellm-proxy models list
    litellm-proxy models add gpt-4 \
      --param api_key=sk-123 \
      --param max_tokens=2048
    litellm-proxy models update <model-id> -p temperature=0.7
    litellm-proxy models delete <model-id>

    使用的 API (OpenAPI)

凭证管理​

  • 列出、创建、获取和删除 LLM 提供商的凭证。

  • 示例

    litellm-proxy credentials list
    litellm-proxy credentials create azure-prod \
      --info='{"custom_llm_provider": "azure"}' \
      --values='{"api_key": "sk-123", "api_base": "https://prod.azure.openai.com"}'
    litellm-proxy credentials get azure-cred
    litellm-proxy credentials delete azure-cred

    使用的 API (OpenAPI)

密钥管理​

  • 列出、生成、获取信息和删除 API 密钥。

  • 示例

    litellm-proxy keys list
    litellm-proxy keys generate \
      --models=gpt-4 \
      --spend=100 \
      --duration=24h \
      --key-alias=my-key
    litellm-proxy keys info --key sk-key1
    litellm-proxy keys delete --keys sk-key1,sk-key2 --key-aliases alias1,alias2

    使用的 API (OpenAPI)

用户管理​

  • 列出、创建、获取信息和删除用户。

  • 示例

    litellm-proxy users list
    litellm-proxy users create \
      --email=user@example.com \
      --role=internal_user \
      --alias="Alice" \
      --team=team1 \
      --max-budget=100.0
    litellm-proxy users get --id <user-id>
    litellm-proxy users delete <user-id>

    使用的 API (OpenAPI)

聊天补全​

  • 从代理服务器请求聊天补全。

  • 示例

    litellm-proxy chat completions gpt-4 -m "user:Hello, how are you?"

    使用的 API (OpenAPI)

通用 HTTP 请求​

  • 向代理服务器发送直接 HTTP 请求。

  • 示例

    litellm-proxy http request \
      POST /chat/completions \
      --json '{"model": "gpt-4", "messages": [{"role": "user", "content": "Hello"}]}'

    所有 API (OpenAPI)

环境变量​

  • LITELLM_PROXY_URL：代理服务器的基本 URL
  • LITELLM_PROXY_API_KEY：用于身份验证的 API 密钥

示例​

  1. 列出所有模型

    litellm-proxy models list

  2. 添加新模型

    litellm-proxy models add gpt-4 \
      --param api_key=sk-123 \
      --param max_tokens=2048

  3. 创建凭证

    litellm-proxy credentials create azure-prod \
      --info='{"custom_llm_provider": "azure"}' \
      --values='{"api_key": "sk-123", "api_base": "https://prod.azure.openai.com"}'

  4. 生成 API 密钥

    litellm-proxy keys generate \
      --models=gpt-4 \
      --spend=100 \
      --duration=24h \
      --key-alias=my-key

  5. 聊天补全

    litellm-proxy chat completions gpt-4 \
      -m "user:Write a story"

  6. 自定义 HTTP 请求

    litellm-proxy http request \
      POST /chat/completions \
      --json '{"model": "gpt-4", "messages": [{"role": "user", "content": "Hello"}]}'

错误处理​

CLI 将显示以下错误消息

  • 服务器不可访问
  • 身份验证失败
  • 无效的参数或 JSON
  • 不存在的模型/凭证
  • 任何其他操作失败

使用 --debug 标志获取详细的调试输出。

有关完整的命令参考和高级用法，请参阅 CLI README。