Baseten
LiteLLM 支持 Baseten 上的任何 Text-Gen-Interface 模型。
以下是关于在 Baseten 上部署 huggingface TGI 模型（Llama2, CodeLlama, WizardCoder, Falcon 等）的教程
API 密钥
import os
os.environ["BASETEN_API_KEY"] = ""
Baseten 模型
Baseten 提供部署和提供 ML 模型的底层架构 https://www.baseten.co/。使用 liteLLM 可以轻松调用部署在 Baseten 上的模型。
Baseten 使用示例 - 注意：liteLLM 支持所有部署在 Baseten 上的模型
用法：传递 model=baseten/<Model ID>
| 模型名称 | 函数调用 | 所需操作系统变量 |
|---|---|---|
| Falcon 7B | completion(model='baseten/qvv0xeq', messages=messages) | os.environ['BASETEN_API_KEY'] |
| Wizard LM | completion(model='baseten/q841o8w', messages=messages) | os.environ['BASETEN_API_KEY'] |
| MPT 7B Base | completion(model='baseten/31dxrj3', messages=messages) | os.environ['BASETEN_API_KEY'] |