跳至主要内容

定价计算器(成本估算)

根据预期的 Token 使用量和请求量来估算 LLM 成本。该工具可帮助开发人员和平台团队在将模型部署到生产环境之前预测支出。

何时使用此功能

使用定价计算器进行:

  • 预算规划 - 在启用模型前估算每月成本
  • 模型比较 - 针对您的使用场景比较不同模型的成本
  • 容量规划 - 了解扩展请求量带来的成本影响
  • 成本优化 - 为您的 Token 需求确定最具性价比的模型

使用定价计算器

本指南演示了如何使用 LiteLLM UI 中的定价计算器来估算 LLM 成本。

第 1 步:导航至设置 (Settings)

在 LiteLLM 仪表板中,点击左侧边栏中的 Settings(设置)。

Click Settings

第 2 步:打开成本跟踪 (Cost Tracking)

点击 Cost Tracking(成本跟踪)以访问成本配置选项。

Click Cost Tracking

第 3 步:打开定价计算器 (Pricing Calculator)

点击 Pricing Calculator(定价计算器)以展开计算器面板。该部分允许您根据预期的 Token 使用量和请求量估算 LLM 成本。

Click Pricing Calculator

第 4 步:选择模型

点击 Model(模型)下拉菜单,选择您想要估算成本的模型。

Click Model field

从列表中选择一个模型。显示的列表为您 LiteLLM 代理上已配置的模型。

Select model

第 5 步:配置 Token 数量

输入预期的 Input Tokens (per request)(输入 Token/每次请求) - 即提示词中的平均 Token 数量。

Click Input Tokens field

输入预期的 Output Tokens (per request)(输出 Token/每次请求) - 即模型回复中的平均 Token 数量。

Click Output Tokens field

第 6 步:设置请求量

输入您的预期请求量。您可以指定 Requests per Day(每日请求数)和/或 Requests per Month(每月请求数)。

Click Requests per Month field

例如,输入 10000000 代表每月一千万次请求。

Enter request volume

第 7 步:查看成本估算

当您更改数值时,计算器会自动更新。您可以查看成本明细,包括:

  • Per-Request Cost(单次请求成本) - 每次请求的总成本、输入成本、输出成本以及利润/费用。
  • Daily Costs(每日成本) - 如果您指定了每日请求数,此处显示聚合成本。
  • Monthly Costs(每月成本) - 如果您指定了每月请求数,此处显示聚合成本。

View cost estimates

第 8 步:导出报告

点击 Export(导出)按钮下载您的成本估算结果。您可以导出为:

  • PDF - 打开打印对话框以保存为 PDF(非常适合与相关利益方共享)。
  • CSV - 下载适合电子表格软件的文件,以便进一步分析。

成本明细详情

定价计算器显示:

字段描述
总成本包含所有已配置利润在内的总成本
输入成本输入/提示词 Token 成本
输出成本输出/补全 Token 成本
利润/费用任何已配置的 供应商利润
Token 定价每 Token 费率(显示为 $/1M Token)

API 接口

您还可以通过 /cost/estimate 接口以编程方式估算成本。

curl -X POST "https://:4000/cost/estimate" \
-H "Authorization: Bearer sk-1234" \
-H "Content-Type: application/json" \
-d '{
"model": "gpt-4",
"input_tokens": 1000,
"output_tokens": 500,
"num_requests_per_day": 1000,
"num_requests_per_month": 30000
}'

响应

{
"model": "gpt-4",
"input_tokens": 1000,
"output_tokens": 500,
"num_requests_per_day": 1000,
"num_requests_per_month": 30000,
"cost_per_request": 0.045,
"input_cost_per_request": 0.03,
"output_cost_per_request": 0.015,
"margin_cost_per_request": 0.0,
"daily_cost": 45.0,
"daily_input_cost": 30.0,
"daily_output_cost": 15.0,
"daily_margin_cost": 0.0,
"monthly_cost": 1350.0,
"monthly_input_cost": 900.0,
"monthly_output_cost": 450.0,
"monthly_margin_cost": 0.0,
"input_cost_per_token": 3e-05,
"output_cost_per_token": 6e-05,
"provider": "openai"
}