LiteLLM Proxy CLI
litellm-proxy CLI 是一个用于管理 LiteLLM Proxy 服务器的命令行工具。它提供了用于管理模型、凭据、API 密钥、用户等的命令，以及向 Proxy 服务器发起聊天和 HTTP 请求的功能。
| 功能 | 可执行操作 |
|---|---|
| 模型管理 | 列出、添加、更新和删除模型 |
| 凭据管理 | 管理提供商凭据 |
| 密钥管理 | 生成、列出和删除 API 密钥 |
| 用户管理 | 创建、列出和删除用户 |
| 聊天补全 | 运行聊天补全 |
| HTTP 请求 | 向 Proxy 服务器发起自定义 HTTP 请求 |
快速开始
安装 CLI
如果你安装了 uv，可以尝试以下方法
uvx --from=litellm[proxy] litellm-proxy如果运行正常，你应该会看到类似这样的输出
Usage: litellm-proxy [OPTIONS] COMMAND [ARGS]...
LiteLLM Proxy CLI - Manage your LiteLLM proxy server
Options:
--base-url TEXT Base URL of the LiteLLM proxy server [env var:
LITELLM_PROXY_URL]
--api-key TEXT API key for authentication [env var:
LITELLM_PROXY_API_KEY]
--help Show this message and exit.
Commands:
chat Chat with models through the LiteLLM proxy server
credentials Manage credentials for the LiteLLM proxy server
http Make HTTP requests to the LiteLLM proxy server
keys Manage API keys for the LiteLLM proxy server
models Manage models on your LiteLLM proxy server如果运行成功，你可以通过以下操作让工具使用更方便
uv tool install litellm[proxy]如果运行成功，你会看到类似这样的输出
...
Installed 2 executables: litellm, litellm-proxy现在，你只需在终端中输入
litellm-proxy即可使用该工具litellm-proxy将来如果你想升级，可以使用以下命令
uv tool upgrade litellm[proxy]或者如果你想卸载，可以使用以下命令
uv tool uninstall litellm如果你没有 uv 或想使用 pip，可以激活一个虚拟环境并手动安装软件包
pip install 'litellm[proxy]'设置环境变量
export LITELLM_PROXY_URL=http://localhost:4000
export LITELLM_PROXY_API_KEY=sk-your-key（替换为你实际的 Proxy URL 和 API 密钥）
发起你的第一个请求（列出模型）
litellm-proxy models list如果 CLI 设置正确，你应该会看到可用模型的列表或表格输出。
故障排除
- 如果看到错误，请检查你的环境变量和 Proxy 服务器状态。
配置
你可以使用环境变量或命令行选项配置 CLI
LITELLM_PROXY_URL：LiteLLM Proxy 服务器的基础 URL（默认为：http://localhost:4000）LITELLM_PROXY_API_KEY：用于身份验证的 API 密钥
主要命令
模型管理
在 Proxy 上列出、添加、更新、获取和删除模型。
示例
litellm-proxy models list
litellm-proxy models add gpt-4 \
--param api_key=sk-123 \
--param max_tokens=2048
litellm-proxy models update <model-id> -p temperature=0.7
litellm-proxy models delete <model-id>
凭据管理
列出、创建、获取和删除 LLM 提供商的凭据。
示例
litellm-proxy credentials list
litellm-proxy credentials create azure-prod \
--info='{"custom_llm_provider": "azure"}' \
--values='{"api_key": "sk-123", "api_base": "https://prod.azure.openai.com"}'
litellm-proxy credentials get azure-cred
litellm-proxy credentials delete azure-cred
密钥管理
列出、生成、获取信息和删除 API 密钥。
示例
litellm-proxy keys list
litellm-proxy keys generate \
--models=gpt-4 \
--spend=100 \
--duration=24h \
--key-alias=my-key
litellm-proxy keys info --key sk-key1
litellm-proxy keys delete --keys sk-key1,sk-key2 --key-aliases alias1,alias2
用户管理
列出、创建、获取信息和删除用户。
示例
litellm-proxy users list
litellm-proxy users create \
--email=user@example.com \
--role=internal_user \
--alias="Alice" \
--team=team1 \
--max-budget=100.0
litellm-proxy users get --id <user-id>
litellm-proxy users delete <user-id>
聊天补全
向 Proxy 服务器请求聊天补全。
示例
litellm-proxy chat completions gpt-4 -m "user:Hello, how are you?"
通用 HTTP 请求
直接向 Proxy 服务器发起 HTTP 请求。
示例
litellm-proxy http request \
POST /chat/completions \
--json '{"model": "gpt-4", "messages": [{"role": "user", "content": "Hello"}]}'
环境变量
LITELLM_PROXY_URL：Proxy 服务器的基础 URLLITELLM_PROXY_API_KEY：用于身份验证的 API 密钥
示例
列出所有模型
litellm-proxy models list添加新模型
litellm-proxy models add gpt-4 \
--param api_key=sk-123 \
--param max_tokens=2048创建凭据
litellm-proxy credentials create azure-prod \
--info='{"custom_llm_provider": "azure"}' \
--values='{"api_key": "sk-123", "api_base": "https://prod.azure.openai.com"}'生成 API 密钥
litellm-proxy keys generate \
--models=gpt-4 \
--spend=100 \
--duration=24h \
--key-alias=my-key聊天补全
litellm-proxy chat completions gpt-4 \
-m "user:Write a story"自定义 HTTP 请求
litellm-proxy http request \
POST /chat/completions \
--json '{"model": "gpt-4", "messages": [{"role": "user", "content": "Hello"}]}'
错误处理
CLI 将显示以下情况的错误消息
- 服务器无法访问
- 身份验证失败
- 无效参数或 JSON
- 模型/凭据不存在
- 任何其他操作失败
使用 --debug 标志查看详细的调试输出。
有关完整的命令参考和高级用法，请参阅 CLI README。