Gemini 实时 API - Google AI Studio

功能	描述	评论
代理	✅
SDK	⌛️	通过 litellm._arealtime 进行实验性访问。

代理用法

将模型添加到配置

model_list:
  - model_name: "gemini-2.0-flash"
    litellm_params:
      model: gemini/gemini-2.0-flash-live-001
    model_info:
      mode: realtime

启动代理

litellm --config /path/to/config.yaml 

# RUNNING on http://0.0.0.0:8000

测试

使用 node 运行此脚本 - node test.js

// test.js
const WebSocket = require("ws");

const url = "ws://0.0.0.0:4000/v1/realtime?model=openai-gemini-2.0-flash";

const ws = new WebSocket(url, {
    headers: {
        "api-key": `${LITELLM_API_KEY}`,
        "OpenAI-Beta": "realtime=v1",
    },
});

ws.on("open", function open() {
    console.log("Connected to server.");
    ws.send(JSON.stringify({
        type: "response.create",
        response: {
            modalities: ["text"],
            instructions: "Please assist the user.",
        }
    }));
});

ws.on("message", function incoming(message) {
    console.log(JSON.parse(message.toString()));
});

ws.on("error", function handleError(error) {
    console.error("Error: ", error);
});

限制

• 不支持音频转录。
• 不支持工具调用

支持的 OpenAI 实时事件

• session.created
• response.created
• response.output_item.added
• conversation.item.created
• response.content_part.added
• response.text.delta
• response.audio.delta
• response.text.done
• response.audio.done
• response.content_part.done
• response.output_item.done
• response.done

支持的会话参数

更多示例

带音频输入/输出的 Gemini 实时 API