跳到主要内容

会话日志

将请求分组到会话中。这允许您将相关的请求分组在一起。

用法​

/chat/completions​

要将多个请求分组到一个会话中，请在每个请求的元数据中传递相同的 litellm_session_id。以下是如何操作：

请求 1 创建一个具有唯一 ID 的新会话并发起第一个请求。该会话 ID 将用于跟踪所有相关请求。

import openai
import uuid

# Create a session ID
session_id = str(uuid.uuid4())

client = openai.OpenAI(
    api_key="<your litellm api key>",
    base_url="http://0.0.0.0:4000"
)

# First request in session
response1 = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {
            "role": "user",
            "content": "Write a short story about a robot"
        }
    ],
    extra_body={
        "metadata": {
            "litellm_session_id": session_id  # Pass the session ID
        }
    }
)

请求 2 使用相同的会话 ID 发起另一个请求，将其与先前的请求关联。这允许将相关的请求一起跟踪。

# Second request using same session ID
response2 = client.chat.completions.create(
    model="gpt-4o", 
    messages=[
        {
            "role": "user",
            "content": "Now write a poem about that robot"
        }
    ],
    extra_body={
        "metadata": {
            "litellm_session_id": session_id  # Reuse the same session ID
        }
    }
)

/responses​

对于 /responses 端点，使用 previous_response_id 将请求分组到会话中。previous_response_id 在每个请求的响应中返回。

请求 1 发起初始请求并存储响应 ID，用于链接后续请求。

from openai import OpenAI

client = OpenAI(
    api_key="<your litellm api key>",
    base_url="http://0.0.0.0:4000"
)

# First request in session
response1 = client.responses.create(
    model="anthropic/claude-3-sonnet-20240229-v1:0",
    input="Write a short story about a robot"
)

# Store the response ID for the next request
response_id = response1.id

请求 2 使用上一个响应 ID 发起后续请求，以维护对话上下文。

# Second request using previous response ID
response2 = client.responses.create(
    model="anthropic/claude-3-sonnet-20240229-v1:0",
    input="Now write a poem about that robot",
    previous_response_id=response_id  # Link to previous request
)