使用量

LiteLLM 在所有提供商中返回兼容 OpenAI 的使用量对象。

"usage": {
    "prompt_tokens": int,
    "completion_tokens": int,
    "total_tokens": int
  }

快速入门

from litellm import completion
import os

## set ENV variables
os.environ["OPENAI_API_KEY"] = "your-api-key"

response = completion(
  model="gpt-3.5-turbo",
  messages=[{ "content": "Hello, how are you?","role": "user"}]
)

print(response.usage)

流式使用量

如果设置了 stream_options={"include_usage": True}，在数据流之前将流式传输一个额外的块[DONE]消息。此块上的 usage 字段显示整个请求的 token 使用量统计信息，choices 字段始终是一个空数组。所有其他块也将包含 usage 字段，但其值为 null。

from litellm import completion 

completion = completion(
  model="gpt-4o",
  messages=[
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "Hello!"}
  ],
  stream=True,
  stream_options={"include_usage": True}
)

for chunk in completion:
  print(chunk.choices[0].delta)