Azure OpenAI 嵌入

API 密钥

这些可以设置为环境变量或作为参数传递给 litellm.embedding()

import os
os.environ['AZURE_API_KEY'] = 
os.environ['AZURE_API_BASE'] = 
os.environ['AZURE_API_VERSION'] = 

用法

from litellm import embedding
response = embedding(
    model="azure/<your deployment name>",
    input=["good morning from litellm"],
    api_key=api_key,
    api_base=api_base,
    api_version=api_version,
)
print(response)

模型名称	函数调用
text-embedding-ada-002	embedding(model="azure/<你的部署名称>", input=input)

感谢 Mikko 提供此集成

用法 - LiteLLM 代理服务器

以下是如何使用 LiteLLM 代理服务器调用 Azure OpenAI 模型

1. 在你的环境中保存密钥

export AZURE_API_KEY=""

2. 启动代理

model_list:
  - model_name: text-embedding-ada-002
    litellm_params:
      model: azure/my-deployment-name
      api_base: https://openai-gpt-4-test-v-1.openai.azure.com/
      api_version: "2023-05-15"
      api_key: os.environ/AZURE_API_KEY # The `os.environ/` prefix tells litellm to read this from the env.

3. 测试它

Curl 请求

curl --location 'http://0.0.0.0:4000/embeddings' \
  --header 'Content-Type: application/json' \
  --data ' {
  "model": "text-embedding-ada-002",
  "input": ["write a litellm poem"]
  }'

OpenAI v1.0.0+

import openai
from openai import OpenAI

# set base_url to your proxy server
# set api_key to send to proxy server
client = OpenAI(api_key="<proxy-api-key>", base_url="http://0.0.0.0:4000")

response = client.embeddings.create(
    input=["hello from litellm"],
    model="text-embedding-ada-002"
)

print(response)