跳到主要内容

Snowflake

属性详情
描述Snowflake Cortex LLM REST API 允许您通过 HTTP POST 请求访问 COMPLETE 功能
LiteLLM 上的提供商路由snowflake/
提供商文档链接Snowflake ↗
基础 URLhttps://{account-id}.snowflakecomputing.com/api/v2/cortex/inference:complete/
支持的 OpenAI 端点/chat/completions, /completions

目前，Snowflake 的 REST API 没有针对 snowflake-arctic-embed 嵌入模型的端点。如果您想将这些嵌入模型与 Litellm 一起使用，可以通过我们的 Hugging Face 提供商调用它们。

在 Hugging Face 上查找 Arctic Embed 模型。

支持的 OpenAI 参数​

    "temperature",
    "max_tokens",
    "top_p",
    "response_format"

API 密钥​

Snowflake 不提供 API 密钥。相反，您需要使用 JWT 令牌和账户标识符访问 Snowflake API。

import os 
os.environ["SNOWFLAKE_JWT"] = "YOUR JWT"
os.environ["SNOWFLAKE_ACCOUNT_ID"] = "YOUR ACCOUNT IDENTIFIER"

用法​

from litellm import completion

## set ENV variables
os.environ["SNOWFLAKE_JWT"] = "YOUR JWT"
os.environ["SNOWFLAKE_ACCOUNT_ID"] = "YOUR ACCOUNT IDENTIFIER"

# Snowflake call
response = completion(
    model="snowflake/mistral-7b", 
    messages = [{ "content": "Hello, how are you?","role": "user"}]
)

与 LiteLLM 代理一起使用​

1. 必需的环境变量​

export SNOWFLAKE_JWT=""
export SNOWFLAKE_ACCOUNT_ID = ""

2. 启动代理~​

model_list:
  - model_name: mistral-7b
    litellm_params:
        model: snowflake/mistral-7b
        api_key: YOUR_API_KEY
        api_base: https://YOUR-ACCOUNT-ID.snowflakecomputing.com/api/v2/cortex/inference:complete

litellm --config /path/to/config.yaml

3. 测试​

curl --location 'http://0.0.0.0:4000/chat/completions' \
--header 'Content-Type: application/json' \
--data ' {
      "model": "snowflake/mistral-7b",
      "messages": [
        {
          "role": "user",
          "content": "Hello, how are you?"
        }
      ]
    }
'