跳到主要内容

所有设置

environment_variables: {}

model_list:
  - model_name: string
    litellm_params: {}
    model_info:
      id: string
      mode: embedding
      input_cost_per_token: 0
      output_cost_per_token: 0
      max_tokens: 2048
      base_model: gpt-4-1106-preview
      additionalProp1: {}

litellm_settings:
  # Logging/Callback settings
  success_callback: ["langfuse"]  # list of success callbacks
  failure_callback: ["sentry"]  # list of failure callbacks
  callbacks: ["otel"]  # list of callbacks - runs on success and failure
  service_callbacks: ["datadog", "prometheus"]  # logs redis, postgres failures on datadog, prometheus
  turn_off_message_logging: boolean  # prevent the messages and responses from being logged to on your callbacks, but request metadata will still be logged.
  redact_user_api_key_info: boolean  # Redact information about the user api key (hashed token, user_id, team id, etc.), from logs. Currently supported for Langfuse, OpenTelemetry, Logfire, ArizeAI logging.
  langfuse_default_tags: ["cache_hit", "cache_key", "proxy_base_url", "user_api_key_alias", "user_api_key_user_id", "user_api_key_user_email", "user_api_key_team_alias", "semantic-similarity", "proxy_base_url"] # default tags for Langfuse Logging
  
  # Networking settings
  request_timeout: 10 # (int) llm requesttimeout in seconds. Raise Timeout error if call takes longer than 10s. Sets litellm.request_timeout 
  force_ipv4: boolean # If true, litellm will force ipv4 for all LLM requests. Some users have seen httpx ConnectionError when using ipv6 + Anthropic API
  
  set_verbose: boolean # sets litellm.set_verbose=True to view verbose debug logs. DO NOT LEAVE THIS ON IN PRODUCTION
  json_logs: boolean # if true, logs will be in json format

  # Fallbacks, reliability
  default_fallbacks: ["claude-opus"] # set default_fallbacks, in case a specific model group is misconfigured / bad.
  content_policy_fallbacks: [{"gpt-3.5-turbo-small": ["claude-opus"]}] # fallbacks for ContentPolicyErrors
  context_window_fallbacks: [{"gpt-3.5-turbo-small": ["gpt-3.5-turbo-large", "claude-opus"]}] # fallbacks for ContextWindowExceededErrors



  # Caching settings
  cache: true 
  cache_params:        # set cache params for redis
    type: redis        # type of cache to initialize

    # Optional - Redis Settings
    host: "localhost"  # The host address for the Redis cache. Required if type is "redis".
    port: 6379  # The port number for the Redis cache. Required if type is "redis".
    password: "your_password"  # The password for the Redis cache. Required if type is "redis".
    namespace: "litellm.caching.caching" # namespace for redis cache
  
    # Optional - Redis Cluster Settings
    redis_startup_nodes: [{"host": "127.0.0.1", "port": "7001"}] 

    # Optional - Redis Sentinel Settings
    service_name: "mymaster"
    sentinel_nodes: [["localhost", 26379]]

    # Optional - Qdrant Semantic Cache Settings
    qdrant_semantic_cache_embedding_model: openai-embedding # the model should be defined on the model_list
    qdrant_collection_name: test_collection
    qdrant_quantization_config: binary
    similarity_threshold: 0.8   # similarity threshold for semantic cache

    # Optional - S3 Cache Settings
    s3_bucket_name: cache-bucket-litellm   # AWS Bucket Name for S3
    s3_region_name: us-west-2              # AWS Region Name for S3
    s3_aws_access_key_id: os.environ/AWS_ACCESS_KEY_ID  # us os.environ/<variable name> to pass environment variables. This is AWS Access Key ID for S3
    s3_aws_secret_access_key: os.environ/AWS_SECRET_ACCESS_KEY  # AWS Secret Access Key for S3
    s3_endpoint_url: https://s3.amazonaws.com  # [OPTIONAL] S3 endpoint URL, if you want to use Backblaze/cloudflare s3 bucket

    # Common Cache settings
    # Optional - Supported call types for caching
    supported_call_types: ["acompletion", "atext_completion", "aembedding", "atranscription"]
                          # /chat/completions, /completions, /embeddings, /audio/transcriptions
    mode: default_off # if default_off, you need to opt in to caching on a per call basis
    ttl: 600 # ttl for caching


callback_settings:
  otel:
    message_logging: boolean  # OTEL logging callback specific settings

general_settings:
  completion_model: string
  disable_spend_logs: boolean  # turn off writing each transaction to the db
  disable_master_key_return: boolean  # turn off returning master key on UI (checked on '/user/info' endpoint)
  disable_retry_on_max_parallel_request_limit_error: boolean  # turn off retries when max parallel request limit is reached
  disable_reset_budget: boolean  # turn off reset budget scheduled task
  disable_adding_master_key_hash_to_db: boolean  # turn off storing master key hash in db, for spend tracking
  enable_jwt_auth: boolean  # allow proxy admin to auth in via jwt tokens with 'litellm_proxy_admin' in claims
  enforce_user_param: boolean  # requires all openai endpoint requests to have a 'user' param
  allowed_routes: ["route1", "route2"]  # list of allowed proxy API routes - a user can access. (currently JWT-Auth only)
  key_management_system: google_kms  # either google_kms or azure_kms
  master_key: string
  maximum_spend_logs_retention_period: 30d # The maximum time to retain spend logs before deletion.
  maximum_spend_logs_retention_interval: 1d # interval in which the spend log cleanup task should run in.

  # Database Settings
  database_url: string
  database_connection_pool_limit: 0  # default 100
  database_connection_timeout: 0  # default 60s
  allow_requests_on_db_unavailable: boolean  # if true, will allow requests that can not connect to the DB to verify Virtual Key to still work 

  custom_auth: string
  max_parallel_requests: 0  # the max parallel requests allowed per deployment 
  global_max_parallel_requests: 0  # the max parallel requests allowed on the proxy all up 
  infer_model_from_keys: true
  background_health_checks: true
  health_check_interval: 300
  alerting: ["slack", "email"]
  alerting_threshold: 0
  use_client_credentials_pass_through_routes: boolean  # use client credentials for all pass through routes like "/vertex-ai", /bedrock/. When this is True Virtual Key auth will not be applied on these endpoints

litellm_settings - 参考​

名称类型描述
success_callback字符串数组成功回调列表。文档 代理日志记录回调, 文档 指标
failure_callback字符串数组失败回调列表 文档 代理日志记录回调, 文档 指标
callbacks字符串数组回调列表 - 在成功和失败时运行 文档 代理日志记录回调, 文档 指标
service_callbacks字符串数组系统健康监控 - 记录指定服务（例如 datadog, prometheus）上的 redis, postgres 故障 文档 指标
turn_off_message_logging布尔值如果为 true，则阻止消息和响应记录到回调，但请求元数据仍会记录。代理日志记录
modify_params布尔值如果为 true，则允许在将请求发送到 LLM 提供商之前修改请求参数
enable_preview_features布尔值如果为 true，则启用预览功能 - 例如支持流式传输的 Azure O1 模型。
redact_user_api_key_info布尔值如果为 true，则从日志中删除有关用户 API 密钥的信息 代理日志记录
langfuse_default_tags字符串数组Langfuse 日志记录的默认标签。如果要控制 LiteLLM 代理将哪些 LiteLLM 特定字段记录为标签，请使用此项。默认情况下，LiteLLM 代理不将任何 LiteLLM 特定字段记录为标签。更多文档
set_verbose布尔值如果为 true，则设置 litellm.set_verbose=True 以查看详细调试日志。请勿在生产环境中开启此项
json_logs布尔值如果为 true，日志将采用 json 格式。如果需要将日志存储为 JSON，只需设置 litellm.json_logs = True。我们目前仅将 litellm 的原始 POST 请求记录为 JSON 更多文档
default_fallbacks字符串数组如果特定模型组配置错误/损坏，则使用的回退模型列表。更多文档
request_timeout整数请求超时（秒）。如果未设置，默认值为 6000 秒。参考 OpenAI Python SDK 默认值为 600 秒。
force_ipv4布尔值如果为 true，litellm 将对所有 LLM 请求强制使用 ipv4。一些用户在使用 ipv6 + Anthropic API 时遇到 httpx ConnectionError
content_policy_fallbacks对象数组遇到 ContentPolicyViolationError 时使用的回退。更多文档
context_window_fallbacks对象数组遇到 ContextWindowExceededError 时使用的回退。更多文档
cache布尔值如果为 true，则启用缓存。更多文档
cache_params对象缓存参数。更多文档
disable_end_user_cost_tracking布尔值如果为 true，则关闭 prometheus 指标和代理上的 litellm 费用日志表中的终端用户费用跟踪。
disable_end_user_cost_tracking_prometheus_only布尔值如果为 true，则仅关闭 prometheus 指标中的终端用户费用跟踪。
key_generation_settings对象限制谁可以生成密钥。更多文档
disable_add_transform_inline_image_block布尔值对于 Fireworks AI 模型 - 如果为 true，并且模型不是视觉模型，则关闭自动向 image_url 的 URL 添加 #transform=inline。
disable_hf_tokenizer_download布尔值如果为 true，则默认为所有模型（包括 huggingface 模型）使用 openai 分词器。

general_settings - 参考​

名称类型描述
completion_model字符串请求中未指定 model 时用于完成的默认模型
disable_spend_logs布尔值如果为 true，则关闭将每笔事务写入数据库
disable_spend_updates布尔值如果为 true，则关闭数据库的所有费用更新。包括密钥/用户/团队费用更新。
disable_master_key_return布尔值如果为 true，则关闭在 UI 上返回主密钥。（在 '/user/info' 端点上检查）
disable_retry_on_max_parallel_request_limit_error布尔值如果为 true，则在达到最大并行请求限制时关闭重试
disable_reset_budget布尔值如果为 true，则关闭重置预算计划任务
disable_adding_master_key_hash_to_db布尔值如果为 true，则关闭在数据库中存储主密钥哈希
enable_jwt_auth布尔值允许代理管理员通过包含 'litellm_proxy_admin' 声明的 jwt 令牌进行身份验证。JWT 令牌文档
enforce_user_param布尔值如果为 true，则要求所有 OpenAI 端点请求都包含 'user' 参数。调用挂钩文档
allowed_routes字符串数组用户可以访问的允许的代理 API 路由列表 控制允许的路由文档
key_management_system字符串指定密钥管理系统。密钥管理器文档
master_key字符串代理的主密钥 设置虚拟密钥
database_url字符串数据库连接 URL 设置虚拟密钥
database_connection_pool_limit整数数据库连接池的限制 设置数据库连接池限制
database_connection_timeout整数数据库连接超时（秒） 设置数据库连接池限制，超时
allow_requests_on_db_unavailable布尔值如果为 true，则即使数据库不可访问，也允许请求成功。仅当在 VPC 中运行 LiteLLM 时使用此选项 这将允许请求正常工作，即使 LiteLLM 无法连接到数据库来验证虚拟密钥。优雅处理数据库不可用文档
custom_auth字符串编写自己的自定义身份验证逻辑 自定义身份验证文档
max_parallel_requests整数每个部署允许的最大并行请求数
global_max_parallel_requests整数代理整体允许的最大并行请求数
infer_model_from_keys布尔值如果为 true，则根据提供的密钥推断模型
background_health_checks布尔值如果为 true，则启用后台健康检查。健康检查文档
health_check_interval整数健康检查间隔（秒） 健康检查文档
alerting字符串数组警报方法列表 Slack 警报文档
alerting_threshold整数触发警报的阈值 Slack 警报文档
use_client_credentials_pass_through_routes布尔值如果为 true，则对所有直通路由使用客户端凭据。直通路由文档
health_check_details布尔值如果为 false，则隐藏健康检查详细信息（例如剩余速率限制）。健康检查文档
public_routes列表[str]（企业版功能）控制公共路由列表
alert_types列表[str]控制要发送到 Slack 的警报类型列表（警报类型文档）[./alerting.md]
enforced_params列表[str]（企业版功能）必须包含在所有代理请求中的参数列表
enable_oauth2_auth布尔值（企业版功能）如果为 true，则启用 oauth2.0 身份验证
use_x_forwarded_forstr如果为 true，则使用 X-Forwarded-For 头部获取客户端 IP 地址
service_account_settingsList[Dict[str, Any]]如果要创建仅适用于服务账户密钥的设置，请设置 service_account_settings（服务账户文档）[./service_accounts.md]
image_generation_modelstr用于图像生成的默认模型 - 忽略请求中设置的模型
store_model_in_db布尔值如果为 true，则启用在数据库中存储模型 + 凭据信息。
store_prompts_in_spend_logs布尔值如果为 true，则允许将提示和响应存储在费用日志表中。
max_request_size_mb整数请求的最大大小（MB）。超过此大小的请求将被拒绝。
max_response_size_mb整数响应的最大大小（MB）。超过此大小的 LLM 响应将不会发送。
proxy_budget_rescheduler_min_time整数在检查数据库以重置预算之前的最短等待时间（秒）。默认值为 597 秒
proxy_budget_rescheduler_max_time整数在检查数据库以重置预算之前的最长等待时间（秒）。默认值为 605 秒
proxy_batch_write_at整数在批量将费用日志写入数据库之前的等待时间（秒）。默认值为 10 秒
alerting_args字典Slack 警报参数 Slack 警报文档
custom_key_generatestr自定义密钥生成函数 自定义密钥生成文档
allowed_ips列表[str]允许访问代理的 IP 列表。如果未设置，则允许所有 IP。
embedding_modelstr用于嵌入的默认模型 - 忽略请求中设置的模型
default_team_disabled布尔值如果为 true，则用户无法创建“个人”密钥（没有 team_id 的密钥）。
alert_to_webhook_url字典[str]为每种警报类型指定一个 webhook URL。
key_management_settingsList[Dict[str, Any]]密钥管理系统设置（例如 AWS KMS, Azure Key Vault） 密钥管理文档
allow_user_auth布尔值（已弃用）用户身份验证的旧方法。
user_api_key_cache_ttl整数在内存中缓存用户 API 密钥的时间（秒）。
disable_prisma_schema_update布尔值如果为 true，则关闭数据库的自动模式更新
litellm_key_header_namestr如果设置，则允许将 LiteLLM 密钥作为自定义头部传递。自定义头部文档
moderation_modelstr用于审核的默认模型。
custom_ssostr实现自定义 SSO 逻辑的 python 文件路径。自定义 SSO 文档
allow_client_side_credentials布尔值如果为 true，则允许将客户端凭据传递给代理。（在测试微调模型时有用）客户端凭据文档
admin_only_routes列表[str]（企业版功能）仅管理员用户可访问的路由列表。仅管理员路由文档
use_azure_key_vault布尔值如果为 true，则从 Azure 密钥保管库加载密钥
use_google_kms布尔值如果为 true，则从 Google KMS 加载密钥
spend_report_frequencystr指定发送费用报告的频率（例如，“1 天”、“2 天”、“30 天”）更多信息
ui_access_mode字面量["admin_only"]如果设置，则将对 UI 的访问限制为仅管理员用户。文档
litellm_jwtauth字典[str, Any]JWT 身份验证设置。文档
litellm_licensestr代理的许可证密钥。文档
oauth2_config_mappings字典[str, str]定义 OAuth2 配置映射
pass_through_endpointsList[Dict[str, Any]]定义直通端点。文档
enable_oauth2_proxy_auth布尔值（企业版功能）如果为 true，则启用 oauth2.0 身份验证
forward_openai_org_id布尔值如果为 true，则将 OpenAI 组织 ID 转发到后端 LLM 调用（如果是 OpenAI）。
forward_client_headers_to_llm_api布尔值如果为 true，则将客户端头部（任何 x- 头部）转发到后端 LLM 调用
maximum_spend_logs_retention_periodstr用于设置数据库中费用日志的最长保留时间，超过该时间后将自动清除
maximum_spend_logs_retention_intervalstr用于设置费用日志清理任务应运行的间隔。

router_settings - 参考​

信息

大多数值也可以通过 litellm_settings 进行设置。如果看到重叠的值，router_settings 上的设置将覆盖 litellm_settings 上的设置。

router_settings:
  routing_strategy: usage-based-routing-v2 # Literal["simple-shuffle", "least-busy", "usage-based-routing","latency-based-routing"], default="simple-shuffle"
  redis_host: <your-redis-host>           # string
  redis_password: <your-redis-password>   # string
  redis_port: <your-redis-port>           # string
  enable_pre_call_checks: true            # bool - Before call is made check if a call is within model context window 
  allowed_fails: 3 # cooldown model if it fails > 1 call in a minute. 
  cooldown_time: 30 # (in seconds) how long to cooldown model if fails/min > allowed_fails
  disable_cooldowns: True                  # bool - Disable cooldowns for all models 
  enable_tag_filtering: True                # bool - Use tag based routing for requests
  retry_policy: {                          # Dict[str, int]: retry policy for different types of exceptions
    "AuthenticationErrorRetries": 3,
    "TimeoutErrorRetries": 3,
    "RateLimitErrorRetries": 3,
    "ContentPolicyViolationErrorRetries": 4,
    "InternalServerErrorRetries": 4
  }
  allowed_fails_policy: {
    "BadRequestErrorAllowedFails": 1000, # Allow 1000 BadRequestErrors before cooling down a deployment
    "AuthenticationErrorAllowedFails": 10, # int 
    "TimeoutErrorAllowedFails": 12, # int 
    "RateLimitErrorAllowedFails": 10000, # int 
    "ContentPolicyViolationErrorAllowedFails": 15, # int 
    "InternalServerErrorAllowedFails": 20, # int 
  }
  content_policy_fallbacks=[{"claude-2": ["my-fallback-model"]}] # List[Dict[str, List[str]]]: Fallback model for content policy violations
  fallbacks=[{"claude-2": ["my-fallback-model"]}] # List[Dict[str, List[str]]]: Fallback model for all errors
名称类型描述
routing_strategy字符串用于路由请求的策略。选项："simple-shuffle", "least-busy", "usage-based-routing", "latency-based-routing"。默认值为 "simple-shuffle"。 此处有更多信息
redis_host字符串Redis 服务器的主机地址。仅当您有多个 LiteLLM 代理实例并希望在它们之间共享当前 tpm/rpm 跟踪时才设置此项
redis_password字符串Redis 服务器的密码。仅当您有多个 LiteLLM 代理实例并希望在它们之间共享当前 tpm/rpm 跟踪时才设置此项
redis_port字符串Redis 服务器的端口号。仅当您有多个 LiteLLM 代理实例并希望在它们之间共享当前 tpm/rpm 跟踪时才设置此项
enable_pre_call_check布尔值如果为 true，则在发起调用之前检查调用是否在模型的上下文窗口内。此处有更多信息
content_policy_fallbacks对象数组为内容策略违规指定回退模型。此处有更多信息
fallbacks对象数组为所有类型的错误指定回退模型。此处有更多信息
enable_tag_filtering布尔值如果为 true，则对请求使用基于标签的路由 基于标签的路由
cooldown_time整数如果模型超过允许的故障次数，则冷却模型的时间（秒）。
disable_cooldowns布尔值如果为 true，则禁用所有模型的冷却。此处有更多信息
retry_policy对象指定不同类型异常的重试次数。此处有更多信息
allowed_fails整数在冷却模型之前允许的故障次数。此处有更多信息
allowed_fails_policy对象指定在冷却部署之前允许的不同错误类型的故障次数。此处有更多信息
default_max_parallel_requests可选[int]部署的默认最大并行请求数。
default_priority（可选[int])请求的默认优先级。仅适用于 '.scheduler_acompletion()'。默认值为 None。
polling_interval（可选[float])轮询队列的频率。仅适用于 '.scheduler_acompletion()'。默认值为 3ms。
max_fallbacks可选[int]在退出调用之前尝试的最大回退次数。默认值为 5。
default_litellm_params可选[dict]添加到所有请求的默认 litellm 参数（例如 temperature, max_tokens）。
timeout可选[float]请求的默认超时时间。默认值为 10 分钟。
stream_timeout可选[float]流式请求的默认超时时间。如果未设置，则使用 'timeout' 值。
debug_level字面量["DEBUG", "INFO"]路由器中日志记录库的调试级别。默认值为 "INFO"。
client_ttl整数缓存客户端的存活时间（秒）。默认值为 3600。
cache_kwargs字典缓存初始化的附加关键字参数。
routing_strategy_args字典路由策略的附加关键字参数 - 例如最低延迟路由默认 TTL
model_group_alias字典模型组别名映射。例如 {"claude-3-haiku": "claude-3-haiku-20240229"}
num_retries整数请求的重试次数。默认值为 3。
default_fallbacksOptional[List[str]]如果未定义特定模型组的回退，则尝试的回退。
caching_groupsOptional[List[tuple]]跨模型组缓存的模型组列表。默认值为 None。- 例如 caching_groups=[("openai-gpt-3.5-turbo", "azure-gpt-3.5-turbo")]
alerting_configAlertingConfig[仅限 SDK 参数]Slack 警报配置。默认值为 None。更多文档
assistants_configAssistantsConfig通过 assistant_settings 在代理上设置。更多文档
set_verbose布尔值已弃用参数 - 请参阅调试文档 如果为 true，则将日志记录级别设置为详细。
retry_after整数在重试请求之前等待的时间（秒）。默认值为 0。如果从 LLM API 接收到 x-retry-after，则此值会被覆盖。
provider_budget_configProviderBudgetConfig提供商预算配置。使用此项设置 LLM 提供商预算限制。例如，OpenAI $100/天，Azure $100/天等。默认值为 None。更多文档
enable_pre_call_checks布尔值如果为 true，则在发起调用之前检查调用是否在模型的上下文窗口内。此处有更多信息
model_group_retry_policy字典[str, RetryPolicy][仅限 SDK 参数]设置模型组的重试策略。
context_window_fallbacksList[Dict[str, List[str]]]上下文窗口违规的回退模型。
redis_urlstrRedis 服务器 URL。已知 Redis URL 存在性能问题。
cache_responses布尔值如果 router_settings 下设置了缓存，则启用缓存 LLM 响应的标志。如果为 true，则缓存响应。默认值为 False。
router_general_settingsRouterGeneralSettings[仅限 SDK]路由器通用设置 - 包含 'async_only_mode' 等优化。文档
optional_pre_call_checks列表[str]要添加到路由器的预调用检查列表。目前支持：'router_budget_limiting', 'prompt_caching'

环境变量 - 参考​

名称描述
ACTIONS_ID_TOKEN_REQUEST_TOKEN在 GitHub Actions 中请求 ID 的令牌
ACTIONS_ID_TOKEN_REQUEST_URL在 GitHub Actions 中请求 ID 令牌的 URL
AGENTOPS_ENVIRONMENTAgentOps 日志记录集成的环境
AGENTOPS_API_KEYAgentOps 日志记录集成的 API 密钥
AGENTOPS_SERVICE_NAMEAgentOps 日志记录集成的服务名称
AISPEND_ACCOUNT_IDAI Spend 的账户 ID
AISPEND_API_KEYAI Spend 的 API 密钥
ALLOWED_EMAIL_DOMAINS允许访问的电子邮件域名列表
ARIZE_API_KEYArize 平台集成的 API 密钥
ARIZE_SPACE_KEYArize 平台的 Space 密钥
ARGILLA_BATCH_SIZEArgilla 日志记录的批量大小
ARGILLA_API_KEYArgilla 平台的 API 密钥
ARGILLA_SAMPLING_RATEArgilla 日志记录的采样率
ARGILLA_DATASET_NAMEArgilla 日志记录的数据集名称
ARGILLA_BASE_URLArgilla 服务的基本 URL
ATHINA_API_KEYAthina 服务的 API 密钥
ATHINA_BASE_URLAthina 服务的基本 URL（默认为 https://log.athina.ai）
AUTH_STRATEGY用于身份验证的策略（例如 OAuth、API 密钥）
AWS_ACCESS_KEY_IDAWS 服务的访问密钥 ID
AWS_PROFILE_NAME要使用的 AWS CLI 配置文件名称
AWS_REGION_NAME服务交互的默认 AWS 区域
AWS_ROLE_NAMEAWS IAM 使用的角色名称
AWS_SECRET_ACCESS_KEYAWS 服务的秘密访问密钥
AWS_SESSION_NAMEAWS 会话名称
AWS_WEB_IDENTITY_TOKENAWS 的 Web 身份令牌
AZURE_API_VERSION正在使用的 Azure API 版本
AZURE_AUTHORITY_HOSTAzure 授权主机 URL
AZURE_CLIENT_IDAzure 服务的客户端 ID
AZURE_CLIENT_SECRETAzure 服务的客户端密钥
AZURE_TENANT_IDAzure Active Directory 的租户 ID
AZURE_USERNAMEAzure 服务的用户名，与 AZURE_PASSWORD 结合使用，用于通过基本用户名/密码工作流获取 azure ad 令牌
AZURE_PASSWORDAzure 服务的密码，与 AZURE_USERNAME 结合使用，用于通过基本用户名/密码工作流获取 azure ad 令牌
AZURE_FEDERATED_TOKEN_FILEAzure 联合令牌的文件路径
AZURE_KEY_VAULT_URIAzure Key Vault 的 URI
AZURE_OPERATION_POLLING_TIMEOUTAzure 操作轮询超时（秒）
AZURE_STORAGE_ACCOUNT_KEY用于对 Azure Blob Storage 日志进行身份验证的 Azure 存储帐户密钥
AZURE_STORAGE_ACCOUNT_NAME用于将日志记录到 Azure Blob Storage 的 Azure 存储帐户名称
AZURE_STORAGE_FILE_SYSTEM用于将日志记录到 Azure Blob Storage 的 Azure 存储文件系统名称。（通常是容器名称）
AZURE_STORAGE_TENANT_ID用于对 Azure Blob Storage 日志进行身份验证的应用程序租户 ID
AZURE_STORAGE_CLIENT_ID用于对 Azure Blob Storage 日志进行身份验证的应用程序客户端 ID
AZURE_STORAGE_CLIENT_SECRET用于对 Azure Blob Storage 日志进行身份验证的应用程序客户端密钥
BATCH_STATUS_POLL_INTERVAL_SECONDS轮询批量状态的间隔（秒）。默认值为 3600（1 小时）
BATCH_STATUS_POLL_MAX_ATTEMPTS轮询批量状态的最大尝试次数。默认值为 24（24 小时）
BEDROCK_MAX_POLICY_SIZEBedrock 策略的最大大小。默认值为 75
BERRISPEND_ACCOUNT_IDBerriSpend 服务的账户 ID
BRAINTRUST_API_KEYBraintrust 集成的 API 密钥
CACHED_STREAMING_CHUNK_DELAY缓存流式块的延迟（秒）。默认值为 0.02
CIRCLE_OIDC_TOKENCircleCI 的 OpenID Connect 令牌
CIRCLE_OIDC_TOKEN_V2CircleCI 的 OpenID Connect 令牌版本 2
CONFIG_FILE_PATH配置文件的文件路径
CUSTOM_TIKTOKEN_CACHE_DIRTiktoken 缓存的自定义目录
DATABASE_HOST数据库服务器的主机名
DATABASE_NAME数据库名称
DATABASE_PASSWORD数据库用户的密码
DATABASE_PORT数据库连接的端口号
DATABASE_SCHEMA数据库中使用的模式名称
DATABASE_URL数据库的连接 URL
DATABASE_USER数据库连接的用户名
DATABASE_USERNAME数据库用户的别名
DATABRICKS_API_BASEDatabricks API 的基本 URL
DAYS_IN_A_MONTH用于计算目的的每月天数。默认值为 28
DAYS_IN_A_WEEK用于计算目的的每周天数。默认值为 7
DAYS_IN_A_YEAR用于计算目的的每年天数。默认值为 365
DD_BASE_URLDatadog 集成的基本 URL
DATADOG_BASE_URL（DD_BASE_URL 的替代）Datadog 集成的基本 URL
_DATADOG_BASE_URL（DD_BASE_URL 的替代）Datadog 集成的基本 URL
DD_API_KEYDatadog 集成的 API 密钥
DD_SITEDatadog 的站点 URL（例如 datadoghq.com）
DD_SOURCEDatadog 日志的源标识符
DD_ENVDatadog 日志的环境标识符。仅支持 datadog_llm_observability 回调
DD_SERVICEDatadog 日志的服务标识符。默认值为 "litellm-server"
DD_VERSIONDatadog 日志的版本标识符。默认值为 "unknown"
DEBUG_OTEL启用 OpenTelemetry 的调试模式
DEFAULT_ALLOWED_FAILS模型冷却前允许的最大故障次数。默认值为 3
DEFAULT_ANTHROPIC_CHAT_MAX_TOKENSAnthropic 聊天完成的默认最大 token 数。默认值为 4096
DEFAULT_BATCH_SIZE操作的默认批量大小。默认值为 512
DEFAULT_COOLDOWN_TIME_SECONDS模型故障后冷却的持续时间（秒）。默认值为 5
DEFAULT_CRON_JOB_LOCK_TTL_SECONDScron 作业锁的存活时间（秒）。默认值为 60（1 分钟）
DEFAULT_FAILURE_THRESHOLD_PERCENT冷却部署的故障阈值百分比。默认值为 0.5 (50%)
DEFAULT_FLUSH_INTERVAL_SECONDS刷新操作的默认间隔（秒）。默认值为 5
DEFAULT_HEALTH_CHECK_INTERVAL健康检查的默认间隔（秒）。默认值为 300（5 分钟）
DEFAULT_IMAGE_HEIGHT图像的默认高度。默认值为 300
DEFAULT_IMAGE_TOKEN_COUNT图像的默认 token 数。默认值为 250
DEFAULT_IMAGE_WIDTH图像的默认宽度。默认值为 300
DEFAULT_IN_MEMORY_TTL内存缓存的默认存活时间（秒）。默认值为 5
DEFAULT_MAX_LRU_CACHE_SIZELRU 缓存的默认最大大小。默认值为 16
DEFAULT_MAX_RECURSE_DEPTH默认最大递归深度。默认值为 100
DEFAULT_MAX_RECURSE_DEPTH_SENSITIVE_DATA_MASKER敏感数据掩码的默认最大递归深度。默认值为 10
DEFAULT_MAX_RETRIES默认最大重试尝试次数。默认值为 2
DEFAULT_MAX_TOKENSLLM 调用的默认最大 token 数。默认值为 4096
DEFAULT_MAX_TOKENS_FOR_TRITONTriton 模型的默认最大 token 数。默认值为 2000
DEFAULT_MOCK_RESPONSE_COMPLETION_TOKEN_COUNT模拟响应完成的默认 token 数。默认值为 20
DEFAULT_MOCK_RESPONSE_PROMPT_TOKEN_COUNT模拟响应提示的默认 token 数。默认值为 10
DEFAULT_MODEL_CREATED_AT_TIME模型的默认创建时间戳。默认值为 1677610602
DEFAULT_PROMPT_INJECTION_SIMILARITY_THRESHOLD提示注入相似度的默认阈值。默认值为 0.7
DEFAULT_POLLING_INTERVAL调度器的默认轮询间隔（秒）。默认值为 0.03
DEFAULT_REASONING_EFFORT_HIGH_THINKING_BUDGET默认高推理努力思考预算。默认值为 4096
DEFAULT_REASONING_EFFORT_LOW_THINKING_BUDGET默认低推理努力思考预算。默认值为 1024
DEFAULT_REASONING_EFFORT_MEDIUM_THINKING_BUDGET默认中等推理努力思考预算。默认值为 2048
DEFAULT_REDIS_SYNC_INTERVAL默认 Redis 同步间隔（秒）。默认值为 1
DEFAULT_REPLICATE_GPU_PRICE_PER_SECONDReplicate GPU 的默认每秒价格。默认值为 0.001400
DEFAULT_REPLICATE_POLLING_DELAY_SECONDSReplicate 轮询的默认延迟（秒）。默认值为 1
DEFAULT_REPLICATE_POLLING_RETRIESReplicate 轮询的默认重试次数。默认值为 5
DEFAULT_SLACK_ALERTING_THRESHOLDSlack 警报的默认阈值。默认值为 300
DEFAULT_SOFT_BUDGETLiteLLM 代理密钥的默认软预算。默认值为 50.0
DEFAULT_TRIM_RATIO从提示末尾修剪 token 的默认比例。默认值为 0.75
DIRECT_URL服务端点的直接 URL
DISABLE_ADMIN_UI切换禁用管理界面
DISABLE_SCHEMA_UPDATE切换禁用模式更新
DOCS_DESCRIPTION文档页面的描述文本
DOCS_FILTERED指示过滤文档的标志
DOCS_TITLE文档页面的标题
DOCS_URLSwagger API 文档的路径。默认值为 "/"
EMAIL_LOGO_URL电子邮件中使用的徽标 URL
EMAIL_SUPPORT_CONTACT支持联系电子邮件地址
EXPERIMENTAL_MULTI_INSTANCE_RATE_LIMITING启用新的多实例速率限制的标志。默认值为 False
FIREWORKS_AI_4_BFireworks AI 4B 模型的大小参数。默认值为 4
FIREWORKS_AI_16_BFireworks AI 16B 模型的大小参数。默认值为 16
FIREWORKS_AI_56_B_MOEFireworks AI 56B MOE 模型的大小参数。默认值为 56
FIREWORKS_AI_80_BFireworks AI 80B 模型的大小参数。默认值为 80
FIREWORKS_AI_176_B_MOEFireworks AI 176B MOE 模型的大小参数。默认值为 176
FUNCTION_DEFINITION_TOKEN_COUNT函数定义的 token 数。默认值为 9
GALILEO_BASE_URLGalileo 平台的基本 URL
GALILEO_PASSWORDGalileo 身份验证的密码
GALILEO_PROJECT_IDGalileo 用途的项目 ID
GALILEO_USERNAMEGalileo 身份验证的用户名
GCS_BUCKET_NAMEGoogle Cloud Storage 存储桶的名称
GCS_PATH_SERVICE_ACCOUNTGoogle Cloud 服务账户 JSON 文件的路径
GCS_FLUSH_INTERVALGCS 日志记录的刷新间隔（秒）。指定您希望多久将日志发送到 GCS。默认值为 20 秒
GCS_BATCH_SIZEGCS 日志记录的批量大小。指定在记录多少日志后将日志刷新到 GCS。如果 BATCH_SIZE 设置为 10，则每 10 条日志刷新一次。默认值为 2048
GCS_PUBSUB_TOPIC_ID用于向其发送 LiteLLM 费用日志的 PubSub Topic ID。
GCS_PUBSUB_PROJECT_ID用于向其发送 LiteLLM 费用日志的 PubSub Project ID。
GENERIC_AUTHORIZATION_ENDPOINT通用 OAuth 提供商的授权端点
GENERIC_CLIENT_ID通用 OAuth 提供商的客户端 ID
GENERIC_CLIENT_SECRET通用 OAuth 提供商的客户端密钥
GENERIC_CLIENT_STATE通用客户端身份验证的状态参数
GENERIC_INCLUDE_CLIENT_ID在 OAuth 请求中包含客户端 ID
GENERIC_SCOPE通用 OAuth 提供商的范围设置
GENERIC_TOKEN_ENDPOINT通用 OAuth 提供商的令牌端点
GENERIC_USER_DISPLAY_NAME_ATTRIBUTE通用身份验证中用户显示名称的属性
GENERIC_USER_EMAIL_ATTRIBUTE通用身份验证中用户电子邮件的属性
GENERIC_USER_FIRST_NAME_ATTRIBUTE通用身份验证中用户名字的属性
GENERIC_USER_ID_ATTRIBUTE通用身份验证中用户 ID 的属性
GENERIC_USER_LAST_NAME_ATTRIBUTE通用身份验证中用户姓氏的属性
GENERIC_USER_PROVIDER_ATTRIBUTE指定用户提供商的属性
GENERIC_USER_ROLE_ATTRIBUTE指定用户角色的属性
GENERIC_USERINFO_ENDPOINT在通用 OAuth 中获取用户信息的主机点
GALILEO_BASE_URLGalileo 平台的基本 URL
GALILEO_PASSWORDGalileo 身份验证的密码
GALILEO_PROJECT_IDGalileo 用途的项目 ID
GALILEO_USERNAMEGalileo 身份验证的用户名
GREENSCALE_API_KEYGreenscale 服务的 API 密钥
GREENSCALE_ENDPOINTGreenscale 服务的端点 URL
GOOGLE_APPLICATION_CREDENTIALSGoogle Cloud 凭据 JSON 文件的路径
GOOGLE_CLIENT_IDGoogle OAuth 的客户端 ID
GOOGLE_CLIENT_SECRETGoogle OAuth 的客户端密钥
GOOGLE_KMS_RESOURCE_NAMEGoogle KMS 中的资源名称
HEALTH_CHECK_TIMEOUT_SECONDS健康检查超时（秒）。默认值为 60
HF_API_BASEHugging Face API 的基本 URL
HUGGINGFACE_API_KEYHugging Face API 的 API 密钥
HCP_VAULT_ADDRHashicorp Vault 密钥管理器的地址
HCP_VAULT_CLIENT_CERTHashicorp Vault 密钥管理器的客户端证书路径
HCP_VAULT_CLIENT_KEYHashicorp Vault 密钥管理器的客户端密钥路径
HCP_VAULT_NAMESPACEHashicorp Vault 密钥管理器的命名空间
HCP_VAULT_TOKENHashicorp Vault 密钥管理器的令牌
HCP_VAULT_CERT_ROLEHashicorp Vault 密钥管理器身份验证的角色
HELICONE_API_KEYHelicone 服务的 API 密钥
HOSTNAME服务器的主机名，此项将作为 HOSTNAME 发送到datadog 日志
HOURS_IN_A_DAYHugging Face API 的基本 URL
用于计算目的的每天小时数。默认值为 24HUGGINGFACE_API_BASE
HUGGINGFACE_API_KEYHugging Face API 的 API 密钥
HUMANLOOP_PROMPT_CACHE_TTL_SECONDSHumanloop 中缓存提示的存活时间（秒）。默认值为 60
IAM_TOKEN_DB_AUTH数据库身份验证的 IAM 令牌
INITIAL_RETRY_DELAY重试请求的初始延迟（秒）。默认值为 0.5
JITTER重试延迟计算的抖动因子。默认值为 0.75
JSON_LOGS启用 JSON 格式日志记录
JWT_AUDIENCEJWT 令牌的预期受众
JWT_PUBLIC_KEY_URL获取用于 JWT 验证的公钥的 URL
LAGO_API_BASELago API 的基本 URL
LAGO_API_CHARGE_BY确定 Lago 收费基础的参数
LAGO_API_EVENT_CODELago API 事件的事件代码
LAGO_API_KEY访问 Lago 服务的 API 密钥
LANGFUSE_DEBUG切换 Langfuse 的调试模式
LANGFUSE_FLUSH_INTERVAL刷新 Langfuse 日志的间隔
LANGFUSE_HOSTLangfuse 服务的主机 URL
LANGFUSE_PUBLIC_KEYLangfuse 身份验证的公钥
LANGFUSE_RELEASELangfuse 集成的发布版本
LANGFUSE_SECRET_KEYLangfuse 身份验证的秘密密钥
LANGSMITH_API_KEYLangsmith 平台的 API 密钥
LANGSMITH_BASE_URLLangsmith 服务的基本 URL
LANGSMITH_BATCH_SIZELangsmith 中操作的批量大小
LANGSMITH_DEFAULT_RUN_NAMELangsmith 运行的默认名称
LANGSMITH_PROJECTLangsmith 集成的项目名称
LANGSMITH_SAMPLING_RATELangsmith 日志记录的采样率
LANGTRACE_API_KEYLangtrace 服务的 API 密钥
LENGTH_OF_LITELLM_GENERATED_KEYLiteLLM 生成的密钥长度。默认值为 16
LITERAL_API_KEYLiteral 集成的 API 密钥
LITERAL_API_URLLiteral 服务的 API URL
LITERAL_BATCH_SIZELiteral 操作的批量大小
LITELLM_DONT_SHOW_FEEDBACK_BOX在 LiteLLM UI 中隐藏反馈框的标志
LITELLM_DROP_PARAMS在 LiteLLM 请求中丢弃的参数
LITELLM_MODIFY_PARAMS在 LiteLLM 请求中修改的参数
LITELLM_EMAIL与 LiteLLM 账户关联的电子邮件
LITELLM_GLOBAL_MAX_PARALLEL_REQUEST_RETRIESLiteLLM 中并行请求的最大重试次数
LITELLM_GLOBAL_MAX_PARALLEL_REQUEST_RETRY_TIMEOUTLiteLLM 中并行请求重试的超时时间
LITELLM_MIGRATION_DIR用于 prisma 迁移的自定义迁移目录，用于在只读文件系统中建立数据库基线。
LITELLM_HOSTED_UILiteLLM 托管 UI 的 URL
LITELLM_LICENSELiteLLM 用途的许可证密钥
LITELLM_LOCAL_MODEL_COST_MAPLiteLLM 中模型成本映射的本地配置
LITELLM_LOG启用 LiteLLM 的详细日志记录
LITELLM_MODELiteLLM 的操作模式（例如 生产、开发）
LITELLM_SALT_KEYLiteLLM 中加密的盐密钥
LITELLM_SECRET_AWS_KMS_LITELLM_LICENSELiteLLM 的 AWS KMS 加密许可证
LITELLM_TOKENLiteLLM 集成的访问令牌
LITELLM_PRINT_STANDARD_LOGGING_PAYLOAD如果为 true，则将标准日志记录有效负载打印到控制台 - 用于调试
LOGFIRE_TOKENLogfire 日志记录服务的令牌
MAX_EXCEPTION_MESSAGE_LENGTH异常消息的最大长度。默认值为 2000
MAX_IN_MEMORY_QUEUE_FLUSH_COUNT内存队列刷新操作的最大计数。默认值为 1000
MAX_LONG_SIDE_FOR_IMAGE_HIGH_RES高分辨率图像长边的最大长度。默认值为 2000
MAX_REDIS_BUFFER_DEQUEUE_COUNTRedis 缓冲区出队操作的最大计数。默认值为 100
MAX_SHORT_SIDE_FOR_IMAGE_HIGH_RES高分辨率图像短边的最大长度。默认值为 768
MAX_SIZE_IN_MEMORY_QUEUE内存队列的最大大小。默认值为 10000
MAX_SIZE_PER_ITEM_IN_MEMORY_CACHE_IN_KB内存缓存中每个项的最大大小（KB）。默认值为 512 或 1024
MAX_SPENDLOG_ROWS_TO_QUERY要查询的最大费用日志行数。默认值为 1,000,000
MAX_TEAM_LIST_LIMIT要列出的最大团队数。默认值为 20
MAX_TILE_HEIGHT图像切片的最大高度。默认值为 512
MAX_TILE_WIDTH图像切片的最大宽度。默认值为 512
MAX_TOKEN_TRIMMING_ATTEMPTS修剪 token 消息的最大尝试次数。默认值为 10
MAX_RETRY_DELAY重试请求的最大延迟（秒）。默认值为 8.0
MIN_NON_ZERO_TEMPERATURE最小非零温度值。默认值为 0.0001
MINIMUM_PROMPT_CACHE_TOKEN_COUNT缓存提示的最小 token 数。默认值为 1024
MISTRAL_API_BASEMistral API 的基本 URL
MISTRAL_API_KEYMistral API 的 API 密钥
MICROSOFT_CLIENT_IDMicrosoft 服务的客户端 ID
MICROSOFT_CLIENT_SECRETMicrosoft 服务的客户端密钥
MICROSOFT_TENANTMicrosoft Azure 的租户 ID
MICROSOFT_SERVICE_PRINCIPAL_IDMicrosoft Enterprise Application 的 Service Principal ID。（这是一项高级功能，如果您希望 litellm 根据其 Microsoft Entra ID 组自动将成员分配到 Litellm 团队）
NO_DOCS禁用文档生成的标志
NO_PROXY绕过代理的地址列表
NON_LLM_CONNECTION_TIMEOUT非 LLM 服务连接的超时时间（秒）。默认值为 15
OAUTH_TOKEN_INFO_ENDPOINT用于检索 OAuth 令牌信息的主机点
OPENAI_BASE_URL用于检索 OAuth 令牌信息的主机点
OpenAI API 的基本 URLOPENAI_API_BASE
OpenAI 服务的 API 密钥OPENAI_FILE_SEARCH_COST_PER_1K_CALLS
OpenAI 文件搜索每 1000 次调用的成本。默认值为 0.0025OPENAI_ORGANIZATION
OpenAI 的组织标识符OPENID_BASE_URL
OpenID Connect 服务的基本 URLOPENID_CLIENT_ID
OpenID Connect 身份验证的客户端 IDOPENID_CLIENT_SECRET
OpenID Connect 身份验证的客户端密钥OPENMETER_API_ENDPOINT
OpenMeter 集成的 API 端点OPENMETER_API_KEY
OpenMeter 服务的 API 密钥OPENMETER_EVENT_TYPE
发送到 OpenMeter 的事件类型OTEL_ENDPOINT
OpenTelemetry 跟踪的端点OTEL_ENDPOINT
OTEL_EXPORTER_OTLP_ENDPOINTOpenTelemetry 的环境名称
OTEL_EXPORTEROpenTelemetry 的导出器类型
OTEL_EXPORTER_OTLP_PROTOCOLOpenTelemetry 的导出器类型
OpenTelemetry 请求的头部OTEL_HEADERS
OTEL_EXPORTER_OTLP_HEADERSOTEL_HEADERS
OTEL_SERVICE_NAMEOpenTelemetry 的服务名称标识符
OTEL_TRACER_NAMEOpenTelemetry 跟踪的跟踪器名称
PAGERDUTY_API_KEYPagerDuty 警报的 API 密钥
PHOENIX_API_KEYArize Phoenix 的 API 密钥
PHOENIX_COLLECTOR_ENDPOINTArize Phoenix 的 API 端点
PHOENIX_COLLECTOR_HTTP_ENDPOINTArize Phoenix 的 API http 端点
POD_NAME服务器的 Pod 名称，此项将作为 POD_NAME 发送到datadog 日志
PREDIBASE_API_BASEPredibase API 的基本 URL
PRESIDIO_ANALYZER_API_BASEPresidio Analyzer 服务的基本 URL
PRESIDIO_ANONYMIZER_API_BASEPresidio Anonymizer 服务的基本 URL
PROMETHEUS_BUDGET_METRICS_REFRESH_INTERVAL_MINUTESPrometheus 预算指标的刷新间隔（分钟）。默认值为 5
PROMETHEUS_FALLBACK_STATS_SEND_TIME_HOURS向 Prometheus 发送统计信息的回退时间（小时）。默认值为 9
PROMETHEUS_URLPrometheus 服务的 URL
PROMPTLAYER_API_KEYPromptLayer 集成的 API 密钥
PROXY_ADMIN_ID代理服务器的管理员标识符
PROXY_BASE_URL代理服务的基本 URL
PROXY_BATCH_WRITE_AT在批量将费用日志写入数据库之前的等待时间（秒）。默认值为 10
PROXY_BUDGET_RESCHEDULER_MAX_TIME在检查数据库以重置预算之前的最长等待时间（秒）。默认值为 605
PROXY_BUDGET_RESCHEDULER_MIN_TIME在检查数据库以重置预算之前的最短等待时间（秒）。默认值为 597
PROXY_LOGOUT_URL从代理服务注销的 URL
LITELLM_MASTER_KEY代理身份验证的主密钥
QDRANT_API_BASEQdrant API 的基本 URL
QDRANT_API_KEYQdrant 服务的 API 密钥
QDRANT_SCALAR_QUANTILEQdrant 操作的标量分位数。默认值为 0.99
QDRANT_URLQdrant 数据库的连接 URL
QDRANT_VECTOR_SIZEQdrant 操作的向量大小。默认值为 1536
REDIS_CONNECTION_POOL_TIMEOUTRedis 连接池超时（秒）。默认值为 5
REDIS_HOSTRedis 服务器的主机名
REDIS_PASSWORDRedis 服务的密码
REDIS_PORTRedis 服务器的端口号
REDIS_SOCKET_TIMEOUTRedis socket 操作超时（秒）。默认值为 0.1
REDOC_URLRedoc Fast API 文档的路径。默认值为 "/redoc"
REPEATED_STREAMING_CHUNK_LIMIT重复流式块的限制，用于检测循环。默认值为 100
REPLICATE_MODEL_NAME_WITH_ID_LENGTH带 ID 的 Replicate 模型名称的长度。默认值为 64
REPLICATE_POLLING_DELAY_SECONDSReplicate 轮询操作的延迟（秒）。默认值为 0.5
REQUEST_TIMEOUT请求超时（秒）。默认值为 6000
ROUTER_MAX_FALLBACKS路由器的最大回退次数。默认值为 5
SECRET_MANAGER_REFRESH_INTERVAL密钥管理器的刷新间隔（秒）。默认值为 86400（24 小时）
SERVER_ROOT_PATH服务器应用程序的根路径
SET_VERBOSE启用详细日志记录的标志
SINGLE_DEPLOYMENT_TRAFFIC_FAILURE_THRESHOLD对于单部署冷却逻辑，被视为“合理流量”的最小请求数。默认值为 1000
SLACK_DAILY_REPORT_FREQUENCY每日 Slack 报告的频率（例如 每日、每周）
SLACK_WEBHOOK_URLSlack 集成的 Webhook URL
SMTP_HOSTSMTP 服务器的主机名
SMTP_PASSWORDSMTP 身份验证的密码（如果 SMTP 不需要身份验证，则不要设置）
SMTP_PORTSMTP 服务器的端口号
SMTP_SENDER_EMAIL在 SMTP 事务中用作发送方的电子邮件地址
SMTP_SENDER_LOGO通过 SMTP 发送的电子邮件中使用的徽标
SMTP_TLS启用或禁用 SMTP 连接 TLS 的标志
SMTP_USERNAMESMTP 身份验证的用户名（如果 SMTP 不需要身份验证，则不要设置）
SPEND_LOGS_URLSPEND_LOGS_URL
检索费用日志的 URLSSL_CERTIFICATE
SSL 证书文件的路径SSL_SECURITY_LEVEL[测试版]
SSL/TLS 连接的安全级别。例如 DEFAULT@SECLEVEL=1SSL_VERIFY
启用或禁用 SSL 证书验证的标志SUPABASE_KEY
Supabase 服务的 API 密钥SUPABASE_URL
Supabase 实例的基本 URL如果为 true，则启用在数据库中存储模型 + 凭据信息。
STORE_MODEL_IN_DBSYSTEM_MESSAGE_TOKEN_COUNT
系统消息的 token 数。默认值为 4TEST_EMAIL_ADDRESS
用于测试目的的电子邮件地址TOGETHER_AI_4_B
Together AI 4B 模型的大小参数。默认值为 4TOGETHER_AI_8_B
Together AI 8B 模型的大小参数。默认值为 8TOGETHER_AI_21_B
Together AI 21B 模型的大小参数。默认值为 21TOGETHER_AI_41_B
Together AI 41B 模型的大小参数。默认值为 41TOGETHER_AI_80_B
Together AI 80B 模型的大小参数。默认值为 80TOGETHER_AI_110_B
Together AI 110B 模型的大小参数。默认值为 110TOGETHER_AI_EMBEDDING_150_M
Together AI 150M 嵌入模型的大小参数。默认值为 150TOGETHER_AI_EMBEDDING_350_M
Together AI 350M 嵌入模型的大小参数。默认值为 350TOOL_CHOICE_OBJECT_TOKEN_COUNT
工具选择对象的 token 数。默认值为 4UI_LOGO_PATH
UI 中使用的徽标图像路径UI_PASSWORD
访问 UI 的密码UI_USERNAME
访问 UI 的用户名UPSTREAM_LANGFUSE_DEBUG
为上游 Langfuse 启用调试的标志UPSTREAM_LANGFUSE_HOST
上游 Langfuse 服务的主机 URLUPSTREAM_LANGFUSE_PUBLIC_KEY
上游 Langfuse 身份验证的公钥UPSTREAM_LANGFUSE_RELEASE
上游 Langfuse 的发布版本标识符UPSTREAM_LANGFUSE_SECRET_KEY
上游 Langfuse 身份验证的秘密密钥USE_AWS_KMS
启用 AWS 密钥管理服务进行加密的标志USE_PRISMA_MIGRATE
使用 prisma migrate 而不是 prisma db push 的标志。建议用于生产环境。WEBHOOK_URL
接收外部服务 webhooks 的 URLSPEND_LOG_RUN_LOOPS