Google Cloud Storage 存储桶

将 LLM 日志记录到 Google Cloud Storage 存储桶

信息

✨ 这是企业版专属功能 点击此处开始使用企业版

用法

1. 在 LiteLLM Config.yaml 中添加 gcs_bucket

model_list:
- litellm_params:
    api_base: https://openai-function-calling-workers.tasslexyz.workers.dev/
    api_key: my-fake-key
    model: openai/my-fake-model
  model_name: fake-openai-endpoint

litellm_settings:
  callbacks: ["gcs_bucket"] # 👈 KEY CHANGE # 👈 KEY CHANGE

2. 设置所需的环境变量

GCS_BUCKET_NAME="<your-gcs-bucket-name>"
GCS_PATH_SERVICE_ACCOUNT="/Users/ishaanjaffer/Downloads/adroit-crow-413218-a956eef1a2a8.json" # Add path to service account.json

3. 启动 Proxy

litellm --config /path/to/config.yaml

4. 测试它！

curl --location 'http://0.0.0.0:4000/chat/completions' \
--header 'Content-Type: application/json' \
--data ' {
      "model": "fake-openai-endpoint",
      "messages": [
        {
          "role": "user",
          "content": "what llm are you"
        }
      ],
    }
'

GCS 存储桶上的预期日志

GCS 存储桶中记录的字段

标准日志对象将被记录在 GCS 存储桶中

从 Google Cloud 控制台获取 service_account.json

1. 前往 Google Cloud 控制台
2. 搜索“IAM 与管理”
3. 点击“服务账号”
4. 选择一个服务账号
5. 点击“密钥” -> 添加密钥 -> 创建新密钥 -> JSON
6. 保存 JSON 文件并将路径添加到 GCS_PATH_SERVICE_ACCOUNT

支持 & 与创始人交流

• 安排演示 👋
• 社区 Discord 💭
• 我们的邮箱 ✉️ ishaan@berri.ai / krrish@berri.ai