CLI 参数
Cli 参数, --host, --port, --num_workers
--host
- 默认值：
'0.0.0.0' - 服务器监听的主机地址。
- 用法
litellm --host 127.0.0.1 - 用法 - 设置环境变量：
HOSTexport HOST=127.0.0.1
litellm
--port
- 默认值：
4000 - 绑定服务器的端口。
- 用法
litellm --port 8080 - 用法 - 设置环境变量：
PORTexport PORT=8080
litellm
--num_workers
- 默认值：
1 - 要启动的 uvicorn 工作进程数量。
- 用法
litellm --num_workers 4 - 用法 - 设置环境变量：
NUM_WORKERSexport NUM_WORKERS=4
litellm
--api_base
- 默认值：
None - LiteLLM 应该调用的模型 API 基地址。
- 用法
litellm --model huggingface/tinyllama --api_base https://k58ory32yinf1ly0.us-east-1.aws.endpoints.huggingface.cloud
--api_version
- 默认值：
None - 对于 Azure 服务，指定 API 版本。
- 用法
litellm --model azure/gpt-deployment --api_version 2023-08-01 --api_base https://<your api base>"
--model 或 -m
- 默认值：
None - 传递给 Litellm 的模型名称。
- 用法
litellm --model gpt-3.5-turbo
--test
- 类型：
bool(Flag) - 代理聊天完成 URL 以发起测试请求。
- 用法
litellm --test
--health
- 类型：
bool(Flag) - 对 config.yaml 中所有模型运行健康检查。
- 用法
litellm --health
--alias
- 默认值：
None - 模型的别名，便于用户友好地引用。
- 用法
litellm --alias my-gpt-model
--debug
- 默认值：
False - 类型：
bool(Flag) - 启用输入的调试模式。
- 用法
litellm --debug - 用法 - 设置环境变量：
DEBUGexport DEBUG=True
litellm
--detailed_debug
- 默认值：
False - 类型：
bool(Flag) - 启用输入的调试模式。
- 用法
litellm --detailed_debug - 用法 - 设置环境变量：
DETAILED_DEBUGexport DETAILED_DEBUG=True
litellm
--temperature
- 默认值：
None - 类型：
float - 设置模型的温度。
- 用法
litellm --temperature 0.7
--max_tokens
- 默认值：
None - 类型：
int - 设置模型输出的最大 token 数量。
- 用法
litellm --max_tokens 50
--request_timeout
- 默认值：
6000 - 类型：
int - 设置完成调用的超时时间（秒）。
- 用法
litellm --request_timeout 300
--drop_params
- 类型：
bool(Flag) - 丢弃任何未映射的参数。
- 用法
litellm --drop_params
--add_function_to_prompt
- 类型：
bool(Flag) - 如果传递了函数但不受支持，则将其作为提示的一部分传递。
- 用法
litellm --add_function_to_prompt
--config
- 通过提供配置文件路径来配置 Litellm。
- 用法
litellm --config path/to/config.yaml
--telemetry
- 默认值：
True - 类型：
bool - 帮助追踪此功能的使用情况。
- 用法
litellm --telemetry False
--log_config
- 默认值：
None - 类型：
str - 为 uvicorn 指定一个日志配置文件。
- 用法
litellm --log_config path/to/log_config.conf