集成作为模型提供商
OpenAI 兼容提供商快速入门
添加 OpenAI 兼容提供商 (JSON)
对于简单的 OpenAI 兼容提供商（如 Hyperbolic, Nscale 等），您只需编辑一个 JSON 文件即可添加支持。
添加模型定价与上下文窗口
要为模型添加定价或上下文窗口信息，只需向此文件提交 PR（拉取请求）即可
OpenAI
4 个项目
OpenAI (文本补全)
LiteLLM 支持 OpenAI 文本补全模型
OpenAI 兼容端点
选择 openai 作为提供商，将通过上游路由将您的请求发送到 OpenAI 兼容的端点
Azure OpenAI
5 个项目
Azure AI
9 个项目
Vertex AI
11 个项目
Google AI Studio
6 个项目
Anthropic
LiteLLM 支持所有 Anthropic 模型。
工具搜索
工具搜索使 Claude 能够从大型工具目录（10,000+ 工具）中按需动态发现并加载工具。Claude 无需预先将所有工具定义加载到上下文窗口中，而是会搜索您的工具目录并仅加载其所需的工具。
AWS Sagemaker
LiteLLM 支持所有 Sagemaker Huggingface Jumpstart 模型
Bedrock
13 个项目
LiteLLM 代理 (LLM 网关)
| 属性 | 详情 |
Abliteration
概述
AI21
LiteLLM 支持以下 AI21 模型
AI/ML API
https://aimlapi.com/
Aleph Alpha
LiteLLM 支持来自 Aleph Alpha 的所有模型。
Amazon Nova
| 属性 | 详情 |
Anyscale
https://app.endpoints.anyscale.com/
Apertis AI (Stima API)
概述
Baseten
LiteLLM 同时支持 Baseten 模型 API 和具有自动路由功能的专用部署。
Black Forest Labs 图像生成
Black Forest Labs 利用其 FLUX 模型提供最先进的文生图生成功能。
Black Forest Labs 图像编辑
Black Forest Labs 利用其 FLUX 模型提供强大的图像编辑功能，根据文本描述修改现有图像。
Bytez
LiteLLM 支持 Bytez 上的所有聊天模型！
Cerebras
https://inference-docs.cerebras.ai/api-reference/chat-completions
Chutes
概述
Clarifai
Clarifai 支持 Anthropic、OpenAI、Qwen、xAI、Gemini 以及大多数开源大语言模型。
Cloudflare Workers AI
https://developers.cloudflare.com/workers-ai/models/text-generation/
Codestral API [Mistral AI]
Codestral 可在特定的代码补全插件中使用，也可以直接查询。详情请参阅文档。
Cohere
API 密钥
CometAPI
LiteLLM 支持 CometAPI 的所有 AI 模型。CometAPI 通过统一的 API 接口提供对 500 多种 AI 模型的访问，包括 GPT-5、Claude Opus 4.1 等尖端模型及其他各类最先进的语言模型。
CompactifAI
https://docs.compactif.ai/
自定义 API 服务器 (自定义格式)
通过 LiteLLM 调用您的自定义 torch-serve / 内部 LLM API
Dashscope API (通义千问模型)
https://dashscope.console.aliyun.com/
Databricks
LiteLLM 支持 Databricks 上的所有模型
DataRobot
LiteLLM 支持 DataRobot 的所有模型。选择 datarobot 作为提供商，使用上游官方 OpenAI Python API 库通过 datarobot OpenAI 兼容端点路由您的请求。
Deepgram
LiteLLM 支持 Deepgram 的 /listen 端点。
DeepInfra
https://deepinfra.com/
Deepseek
https://deepseek.com/
Docker 模型运行器
概述
ElevenLabs
ElevenLabs 提供高质量的 AI 语音技术，包括通过其转录 API 实现的语音转文字功能。
Fal AI
Fal AI 提供快速、可扩展的访问方式，以使用包括 FLUX、Stable Diffusion、Imagen 等在内的最先进图像生成模型。
Featherless AI
https://featherless.ai/
Fireworks AI
我们支持所有 Fireworks AI 模型，发送补全请求时只需添加 fireworks_ai/ 前缀即可
FriendliAI
我们支持所有 FriendliAI 模型，发送补全请求时只需添加 friendliai/ 前缀即可
Galadriel
https://docs.galadriel.com/api-reference/chat-completion-API
Github
https://github.com/marketplace/models
GitHub Copilot
https://githubdocs.cn/en/copilot
GMI Cloud
概述
ChatGPT 订阅
通过 LiteLLM 并使用 OAuth 设备流认证，使用您的 ChatGPT Pro/Max 订阅模型。
GradientAI
https://digitalocean.com/products/gradientai
Groq
https://groq.com/
Helicone
概述
Heroku
配置模型
HuggingFace
2 个项目
Hyperbolic
概述
Infinity
| 属性 | 详情 |
Jina AI
https://jina.ai/embeddings/
Lambda AI
概述
LangGraph
使用 OpenAI 聊天补全格式通过 LiteLLM 调用 LangGraph 智能体。
Lemonade
Lemonade Server 是一个针对 AMD GPU 和 NPU 优化的 OpenAI 兼容本地语言模型推理提供商。Lemonade LiteLLM 提供商支持完全兼容 OpenAI API 的标准聊天补全功能。
Llamafile
LiteLLM 支持 Llamafile 上的所有模型。
LlamaGate
概述
LM Studio
https://lm-studio.cn/docs/basics/server
Manus
通过 LiteLLM 的 OpenAI 兼容响应 API 使用 Manus AI 智能体。
Meta Llama
| 属性 | 详情 |
Milvus - 向量数据库
使用 Milvus 作为 RAG 的向量数据库。
Mistral AI API
https://docs.mistral.ai/api/
MiniMax
概述
Moonshot AI (月之暗面)
概述
Morph
LiteLLM 支持 Morph 上的所有模型
Nebius AI Studio
https://docs.nebius.com/studio/inference/quickstart
NLP Cloud
LiteLLM 支持 NLP Cloud 上的所有 LLM。
NanoGPT
概述
Novita AI
| 属性 | 详情 |
Nscale (欧盟主权云)
https://docs.nscale.com/docs/inference/chat
Nvidia NIM
2 个项目
Nvidia Riva (语音转文字)
LiteLLM 通过 /audio/transcriptions 支持 NVIDIA Riva 进行语音转文字。适用于 NVCF 托管的 Riva 端点（如 build.nvidia.com 上的 Parakeet）以及自托管的 Riva 部署。
Oracle Cloud Infrastructure (OCI)
LiteLLM 支持以下用于 OCI 按需 GenAI API 的模型。
Ollama
LiteLLM 支持来自 Ollama 的所有模型
OpenRouter
LiteLLM 支持来自 OpenRouter 的所有文本/聊天/视觉/嵌入模型
Sarvam.ai
LiteLLM 支持来自 Sarvam ai 的所有文本模型
OVHCloud AI 端点
欧洲领先的云提供商，提供数据主权和隐私保护。
Perplexity AI
2 个项目
Petals
Petals //github.com/bigscience-workshop/petals
Poe
概述
PublicAI
概述
Predibase
LiteLLM 支持 Predibase 上的所有模型
Pydantic AI 智能体
通过 LiteLLM 的 A2A 网关调用 Pydantic AI 智能体。
RAGFlow
LiteLLM 支持 RAGFlow 的聊天补全 API
Recraft
https://www.recraft.ai/
Replicate
LiteLLM 支持 Replicate 上的所有模型
RunwayML
2 个项目
SambaNova
https://cloud.sambanova.ai/
SAP 生成式 AI 中心
LiteLLM 支持 SAP 生成式 AI 中心的编排服务。
Scaleway
LiteLLM 支持 Scaleway 生成式 API 上提供的所有模型 ↗。
Stability AI
https://stability.ai/
Synthetic
概述
Snowflake
| 属性 | 详情 |
Together AI
LiteLLM 支持 Together AI 上的所有模型。
Topaz
| 属性 | 详情 |
Triton 推理服务器
LiteLLM 支持 Triton 推理服务器上的嵌入模型
v0
概述
Vercel AI 网关
概述
vLLM
2 个项目
火山引擎 (Volcengine)
https://www.volcengine.com/docs/82379/1263482
Voyage AI
https://docs.voyageai.com/embeddings/
Weights & Biases 推理
https://weave-docs.wandb.ai/quickstart-inference
WatsonX
2 个项目
xAI
2 个项目
小米 MiMo
https://platform.xiaomimimo.com/#/docs
Xinference [Xorbits 推理]
https://inference.readthedocs.io/en/latest/index.html
Z.AI (智谱 AI)
https://z.ai/