跳到主要内容

Promptlayer 教程

提示

这是社区维护的，如果您遇到错误，请提交 issue https://github.com/BerriAI/litellm

Promptlayer 是一个面向 prompt 工程师的平台。记录 OpenAI 请求。搜索使用历史。追踪性能。可视化管理 prompt 模板。

使用 Promptlayer 记录所有 LLM 提供商（OpenAI, Azure, Anthropic, Cohere, Replicate, PaLM）的请求​

liteLLM 提供了 callbacks，方便您根据响应状态记录数据。

使用回调​

从 https://promptlayer.com/ 获取您的 PromptLayer API 密钥

只需 2 行代码，即可立即使用 promptlayer 记录所有提供商的响应

litellm.success_callback = ["promptlayer"]

完整代码

from litellm import completion

## set env variables
os.environ["PROMPTLAYER_API_KEY"] = "your-promptlayer-key"

os.environ["OPENAI_API_KEY"], os.environ["COHERE_API_KEY"] = "", ""

# set callbacks
litellm.success_callback = ["promptlayer"]

#openai call
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}])

#cohere call
response = completion(model="command-nightly", messages=[{"role": "user", "content": "Hi 👋 - i'm cohere"}])

记录元数据​

您还可以将补全调用元数据记录到 Promptlayer。

您可以通过 metadata 参数为补全调用添加元数据

completion(model,messages, metadata={"model": "ai21"})

完整代码

from litellm import completion

## set env variables
os.environ["PROMPTLAYER_API_KEY"] = "your-promptlayer-key"

os.environ["OPENAI_API_KEY"], os.environ["COHERE_API_KEY"] = "", ""

# set callbacks
litellm.success_callback = ["promptlayer"]

#openai call - log llm provider is openai
response = completion(model="gpt-3.5-turbo", messages=[{"role": "user", "content": "Hi 👋 - i'm openai"}], metadata={"provider": "openai"})

#cohere call - log llm provider is cohere
response = completion(model="command-nightly", messages=[{"role": "user", "content": "Hi 👋 - i'm cohere"}], metadata={"provider": "cohere"})

感谢来自 Vim-GPT 的 Nick Bradford 提出的建议。

支持与创始人交流​