Athina
提示
这是社区维护的内容。如果您遇到错误，请提交 issue https://github.com/BerriAI/litellm
Athina 是一个用于您 LLM 驱动应用的评估框架和生产监控平台。Athina 旨在通过实时监控、精细分析和即插即用评估来增强 AI 应用的性能和可靠性。
入门
使用 Athina 记录所有 LLM 提供商（OpenAI, Azure, Anthropic, Cohere, Replicate, PaLM）的请求
liteLLM 提供了 callbacks（回调），使您可以轻松地根据响应状态记录数据。
使用回调
首先，在 Athina 面板上注册以获取 API_KEY。
只需一行代码，即可使用 Athina 即时记录所有提供商的响应
litellm.success_callback = ["athina"]
完整代码
from litellm import completion
## set env variables
os.environ["ATHINA_API_KEY"] = "your-athina-api-key"
os.environ["OPENAI_API_KEY"]= ""
# set callback
litellm.success_callback = ["athina"]
#openai call
response = completion(
model="gpt-3.5-turbo",
messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}]
)
metadata 中的额外信息
您可以使用 completion 中的 metadata 字段向 Athina 发送一些额外信息。这对于发送有关请求的元数据非常有用，例如 customer_id、prompt_slug 或您希望跟踪的任何其他信息。
#openai call with additional metadata
response = completion(
model="gpt-3.5-turbo",
messages=[
{"role": "user", "content": "Hi 👋 - i'm openai"}
],
metadata={
"environment": "staging",
"prompt_slug": "my_prompt_slug/v1"
}
)
以下是 metadata 中允许的字段、它们的类型和描述
environment: Optional[str]- 您的应用运行环境（例如：production, staging 等）。这对于按环境对推理调用进行细分非常有用。prompt_slug: Optional[str]- 用于推理的提示符标识符。这对于按提示符对推理调用进行细分非常有用。customer_id: Optional[str]- 这是您的客户 ID。这对于按客户对推理调用进行细分非常有用。customer_user_id: Optional[str]- 这是终端用户 ID。这对于按终端用户对推理调用进行细分非常有用。session_id: Optional[str]- 会话或对话 ID。这用于将不同的推理分组到会话或链中。[阅读更多]。（https://docs.athina.ai/logging/grouping_inferences）external_reference_id: Optional[str]- 如果您想将自己的内部标识符与记录到 Athina 的推理关联起来，这会很有用。context: Optional[Union[dict, str]]- 这是用作提示信息的上下文。对于 RAG 应用，这是“检索到的”数据。您可以将上下文记录为字符串或对象（字典）。expected_response: Optional[str]- 这是用于评估目的进行比较的参考响应。这对于按预期响应对推理调用进行细分非常有用。user_query: Optional[str]- 这是用户的查询。对于会话式应用，这是用户的最后一条消息。tags: Optional[list]- 这是一个标签列表。这对于按标签对推理调用进行细分非常有用。user_feedback: Optional[str]- 终端用户的反馈。model_options: Optional[dict]- 这是一个模型选项字典。这对于深入了解模型行为如何影响您的终端用户非常有用。custom_attributes: Optional[dict]- 这是一个自定义属性字典。这对于有关推理的额外信息非常有用。
使用自托管 Athina 部署
如果您正在使用自托管的 Athina 部署，则需要设置 ATHINA_BASE_URL 环境变量以指向您的自托管部署。
...
os.environ["ATHINA_BASE_URL"]= "http://localhost:9000"
...