Greenscale - 追踪 LLM 开销和负责任的使用

提示

这是由社区维护的，如果您遇到错误，请提交问题 https://github.com/BerriAI/litellm

Greenscale 是一个生产监控平台，旨在为您的 LLM 支持的应用程序提供有关生成式 AI 开销和负责任使用的精细关键洞察。Greenscale 只捕获元数据，以最大限度地降低个人身份信息 (PII) 的暴露风险。

入门指南

使用 Greenscale 记录所有 LLM 提供商的请求

liteLLM 提供了 callbacks，使您可以轻松地根据响应状态记录数据。

使用回调

首先，发送电子邮件至 hello@greenscale.ai 获取您的 API_KEY。

只需一行代码，即可立即记录您的响应 跨所有提供商 到 Greenscale

litellm.success_callback = ["greenscale"]

完整代码

from litellm import completion

## set env variables
os.environ['GREENSCALE_API_KEY'] = 'your-greenscale-api-key'
os.environ['GREENSCALE_ENDPOINT'] = 'greenscale-endpoint'
os.environ["OPENAI_API_KEY"]= ""

# set callback
litellm.success_callback = ["greenscale"]

#openai call
response = completion(
  model="gpt-3.5-turbo",
  messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}]
  metadata={
    "greenscale_project": "acme-project",
    "greenscale_application": "acme-application"
  }
)

元数据中的附加信息

您可以通过在 completion 中使用 metadata 字段和 greenscale_ 前缀向 Greenscale 发送任何附加信息。这对于发送有关请求的元数据很有用，例如项目名称、应用程序名称、customer_id、环境，或任何您想要跟踪使用情况的其他信息。greenscale_project 和 greenscale_application 是必填字段。

#openai call with additional metadata
response = completion(
  model="gpt-3.5-turbo",
  messages=[
    {"role": "user", "content": "Hi 👋 - i'm openai"}
  ],
  metadata={
    "greenscale_project": "acme-project",
    "greenscale_application": "acme-application",
    "greenscale_customer_id": "customer-123"
  }
)

支持与和 Greenscale 团队交流

• 安排演示 👋
• 网站 💻
• 我们的邮箱 ✉️ hello@greenscale.ai