跳至主要内容

🖇️ AgentOps - LLM 可观测性平台

提示

这是一个社区维护的项目。如果您遇到错误，请提交 issue：https://github.com/BerriAI/litellm

AgentOps 是一个可观测性平台，能够追踪和监控 LLM 调用，为您的人工智能运营提供详细的洞察。

在 LiteLLM 中使用 AgentOps​

LiteLLM 提供了 success_callbacks 和 failure_callbacks，允许您轻松集成 AgentOps，从而全面追踪和监控您的 LLM 运营。

集成​

只需几行代码，即可使用 AgentOps 立即追踪您在所有提供商中的响应：从 https://app.agentops.ai/ 获取您的 AgentOps API 密钥

import litellm

# Configure LiteLLM to use AgentOps
litellm.success_callback = ["agentops"]

# Make your LLM calls as usual
response = litellm.completion(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": "Hello, how are you?"}],
)

完整代码

import os
from litellm import completion

# Set env variables
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["AGENTOPS_API_KEY"] = "your-agentops-api-key"

# Configure LiteLLM to use AgentOps
litellm.success_callback = ["agentops"]

# OpenAI call
response = completion(
    model="gpt-4",
    messages=[{"role": "user", "content": "Hi 👋 - I'm OpenAI"}],
)

print(response)

配置选项​

AgentOps 集成可以通过环境变量进行配置

  • AGENTOPS_API_KEY (str, 可选): 您的 AgentOps API 密钥
  • AGENTOPS_ENVIRONMENT (str, 可选): 部署环境（默认为 "production"）
  • AGENTOPS_SERVICE_NAME (str, 可选): 追踪的服务名称（默认为 "agentops"）

高级用法​

您可以通过环境变量配置其他设置

import os

# Configure AgentOps settings
os.environ["AGENTOPS_API_KEY"] = "your-agentops-api-key"
os.environ["AGENTOPS_ENVIRONMENT"] = "staging"
os.environ["AGENTOPS_SERVICE_NAME"] = "my-service"

# Enable AgentOps tracing
litellm.success_callback = ["agentops"]

支持​

如有问题或疑问，请参考