跳到主要内容

🖇️ AgentOps - LLM 可观测性平台

提示

这是社区维护的。如果您遇到错误，请创建一个 issue：https://github.com/BerriAI/litellm

AgentOps 是一个可观测性平台，可以追踪和监控 LLM 调用，为您的 AI 运营提供详细洞见。

将 AgentOps 与 LiteLLM 结合使用​

LiteLLM 提供了 success_callbacks 和 failure_callbacks，让您可以轻松集成 AgentOps，对您的 LLM 操作进行全面的追踪和监控。

集成​

只需几行代码，即可使用 AgentOps 即时追踪来自所有提供商的响应：从 https://app.agentops.ai/ 获取您的 AgentOps API 密钥

import litellm

# Configure LiteLLM to use AgentOps
litellm.success_callback = ["agentops"]

# Make your LLM calls as usual
response = litellm.completion(
    model="gpt-3.5-turbo",
    messages=[{"role": "user", "content": "Hello, how are you?"}],
)

完整代码

import os
from litellm import completion

# Set env variables
os.environ["OPENAI_API_KEY"] = "your-openai-key"
os.environ["AGENTOPS_API_KEY"] = "your-agentops-api-key"

# Configure LiteLLM to use AgentOps
litellm.success_callback = ["agentops"]

# OpenAI call
response = completion(
    model="gpt-4",
    messages=[{"role": "user", "content": "Hi 👋 - I'm OpenAI"}],
)

print(response)

配置选项​

AgentOps 集成可以通过环境变量进行配置

  • AGENTOPS_API_KEY (str, 可选): 您的 AgentOps API 密钥
  • AGENTOPS_ENVIRONMENT (str, 可选): 部署环境 (默认为 "production")
  • AGENTOPS_SERVICE_NAME (str, 可选): 用于追踪的服务名称 (默认为 "agentops")

高级用法​

您可以通过环境变量配置其他设置

import os

# Configure AgentOps settings
os.environ["AGENTOPS_API_KEY"] = "your-agentops-api-key"
os.environ["AGENTOPS_ENVIRONMENT"] = "staging"
os.environ["AGENTOPS_SERVICE_NAME"] = "my-service"

# Enable AgentOps tracing
litellm.success_callback = ["agentops"]

支持​

如有问题，请参考