LLM 成本费用/价格利润

您可以针对特定模型提供商或全局应用基于百分比或固定金额的加成。这对于需要将运营管理成本分摊给内部使用者的企业非常有用。

何时使用此功能

如果您的生成式 AI 平台涉及各种运营和架构开销以及基础设施成本，您可能需要向总 LLM 成本中添加额外费用或加成的能力。

常见使用场景

• 内部成本分摊 (Chargebacks) - 在向内部团队收费时增加运营管理成本
• 成本回收 - 回收基础设施、支持和平台维护成本

通过 UI 设置加成

本指南展示了如何在 LiteLLM UI 中添加提供商加成并查看成本明细。

第 1 步：导航至“设置”

在 LiteLLM 仪表板中，点击左侧边栏中的 Settings（设置）。

第 2 步：打开“成本跟踪”

点击 Cost Tracking（成本跟踪） 以访问成本配置选项。

第 3 步：选择“费用/价格加成”

点击 Fee/Price Margin（费用/价格加成） - 该部分允许您为 LLM 成本添加费用或加成，以便进行内部结算和成本回收。

第 4 步：添加提供商加成

点击 + Add Provider Margin（添加提供商加成） 以创建新的加成配置。

第 5 步：选择提供商

点击搜索字段以选择要应用加成的提供商。

您可以选择 Global (All Providers)（全局/所有提供商） 将加成应用到所有提供商，或者选择特定提供商，如 Bedrock、OpenAI 或 Anthropic。

在本例中，我们将选择 Bedrock 作为提供商。

第 6 步：选择加成类型

选择加成类型。您可以选择 Percentage-based（基于百分比）（例如 10% 的溢价）或 Fixed Amount（固定金额）（例如每请求 $0.001）。

在本例中，我们将选择 Fixed Amount（固定金额） 来为每个请求添加固定费用。

第 7 步：输入加成值

输入加成数值。在本例中，我们将为每个请求添加 $25 的固定费用。

第 8 步：保存加成

点击 Add Provider Margin（添加提供商加成） 以保存您的配置。

第 9 步：在 Playground 中测试加成

导航至 Playground（游乐场），通过发起请求来测试您的加成配置。

选择一个模型并发送测试消息。

在消息字段中输入您的提示词并提交。

您将收到来自模型的响应。

第 10 步：在日志中查看成本明细

导航至 Logs（日志） 以查看请求的详细成本明细。

点击展开图标以查看请求详情。

第 11 步：查看成本明细详情

点击 Cost Breakdown（成本明细） 以查看总成本的计算方式，包括加成部分。

成本明细显示了添加的加成金额。在本例中，您可以清晰看到显示的 +$25.00 加成。

总成本反映了基础 LLM 成本加上加成费用，让您的成本结构完全透明。

通过配置 (Config) 设置加成

您也可以直接在 config.yaml 文件中配置加成。

第 1 步：将加成配置添加到 config.yaml

# Apply margins to providers
cost_margin_config:
  global: 0.05            # 5% global margin on all providers
  openai: 0.10            # 10% margin for OpenAI (overrides global)
  anthropic:
    fixed_amount: 0.001   # $0.001 fixed fee per request

步骤 2：启动代理

litellm /path/to/config.yaml

加成将自动应用于所配置提供商的所有成本计算中。

加成的工作原理

• 加成在折扣之后应用（如果已配置）
• 加成的计算与折扣相互独立
• 您可以使用：
  • 基于百分比： {"openai": 0.10} = 10% 加成
  • 固定金额： {"openai": {"fixed_amount": 0.001}} = 每个请求 $0.001
  • 全局： {"global": 0.05} = 对所有提供商收取 5% 加成（除非存在特定于提供商的加成）
• 特定于提供商的加成会覆盖全局加成
• 加成信息会在成本明细日志中被追踪
• 加成信息会在响应头中返回
  • x-litellm-response-cost-margin-amount - 以美元计的加成总额
  • x-litellm-response-cost-margin-percent - 应用的加成百分比

加成计算示例

示例 1：仅百分比加成

cost_margin_config:
  openai: 0.10  # 10% margin

如果基础成本为 $1.00，最终成本 = $1.00 x 1.10 = $1.10

示例 2：仅固定金额加成

cost_margin_config:
  anthropic:
    fixed_amount: 0.001  # $0.001 per request

如果基础成本为 $1.00，最终成本 = $1.00 + $0.001 = $1.001

示例 3：全局加成及提供商覆盖

cost_margin_config:
  global: 0.05   # 5% global margin
  openai: 0.10   # 10% margin for OpenAI (overrides global)

• OpenAI 请求：应用 10% 加成
• 所有其他提供商：应用 5% 加成

折扣与加成

加成和折扣是独立计算的

1. 首先计算基础成本
2. 应用折扣（如果已配置）
3. 对折扣后的成本应用加成

示例

cost_discount_config:
  openai: 0.05  # 5% discount
cost_margin_config:
  openai: 0.10  # 10% margin

如果基础成本为 $1.00

• 折扣后：$1.00 x 0.95 = $0.95
• 加成后：$0.95 x 1.10 = $1.045

支持的供应商

您可以对所有 LiteLLM 支持的提供商应用加成，或者使用 global 应用于所有提供商。常见示例：

• global - 应用于所有提供商（除非存在特定于提供商的加成）
• openai - OpenAI
• anthropic - Anthropic
• vertex_ai - Google Vertex AI
• gemini - Google Gemini
• azure - Azure OpenAI
• bedrock - AWS Bedrock

在 LlmProviders 枚举中查看完整的提供商列表。