自动同步新模型（Day-0 发布）

无需重启服务即可自动更新模型定价和上下文窗口数据。这使您能够在不重启服务的情况下，为新模型提供 Day-0 支持。

概述

当 OpenAI 或 Anthropic 等提供商发布新模型（例如 GPT-5、Claude 4）时，您通常需要重启 LiteLLM 服务才能获取最新的定价和上下文窗口数据。

通过自动同步功能，LiteLLM 可以自动从 GitHub 的 model_prices_and_context_window.json 拉取最新的模型数据，而无需重启。这意味着：

• 零停机时间：新模型发布时无需中断服务
• 定价始终准确：确保成本跟踪和预算的准确性
• 自动更新：设置一次，无需额外维护

快速入门

手动同步

curl -X POST "https://your-proxy-url/reload/model_cost_map" \
  -H "Authorization: Bearer YOUR_ADMIN_TOKEN" \
  -H "Content-Type: application/json"

每 6 小时自动同步

curl -X POST "https://your-proxy-url/schedule/model_cost_map_reload?hours=6" \
  -H "Authorization: Bearer YOUR_ADMIN_TOKEN" \
  -H "Content-Type: application/json"

API 端点

端点	方法	描述
/reload/model_cost_map	POST	手动同步
/schedule/model_cost_map_reload?hours={hours}	POST	安排定期同步
/schedule/model_cost_map_reload	DELETE	取消定期同步
/schedule/model_cost_map_reload/status	GET	检查同步状态

身份验证：需要管理员角色或主密钥

Python 示例

import requests

def sync_models(proxy_url, admin_token):
    response = requests.post(
        f"{proxy_url}/reload/model_cost_map",
        headers={"Authorization": f"Bearer {admin_token}"}
    )
    return response.json()

# Usage
result = sync_models("https://your-proxy-url", "your-admin-token")
print(result['message'])

配置

自定义模型成本映射 URL

export LITELLM_MODEL_COST_MAP_URL="https://raw.githubusercontent.com/BerriAI/litellm/main/model_prices_and_context_window.json"

使用本地模型成本映射

export LITELLM_LOCAL_MODEL_COST_MAP=True