📄️ 作为模型提供商集成
OpenAI 兼容提供商快速入门
📄️ 添加 OpenAI 兼容提供商 (JSON)
对于简单的 OpenAI 兼容提供商（如 Hyperbolic、Nscale 等），您可以通过编辑单个 JSON 文件来添加支持。
📄️ 添加模型定价和上下文窗口
要添加模型的定价或上下文窗口信息，只需为此文件提出 PR
🗃️ OpenAI
4 个项目
📄️ OpenAI (文本补全)
LiteLLM 支持 OpenAI 文本补全模型
📄️ OpenAI 兼容端点
选择 openai 作为提供商会将您的请求路由到使用上游的 OpenAI 兼容端点
🗃️ Azure OpenAI
5 个项目
🗃️ Azure AI
9 个项目
🗃️ Vertex AI
10 个项目
🗃️ Google AI Studio
5 个项目
📄️ Anthropic
LiteLLM 支持所有 Anthropic 模型。
📄️ AWS Sagemaker
LiteLLM 支持所有 Sagemaker Huggingface Jumpstart 模型
🗃️ Bedrock
12 个项目
📄️ LiteLLM 代理 (LLM 网关)
| 属性 | 详情 |
📄️ Abliteration
概述
📄️ AI21
LiteLLM 支持以下 AI21 模型
📄️ AI/ML API
https://aimlapi.com/
📄️ Aleph Alpha
LiteLLM 支持 Aleph Alpha 的所有模型。
📄️ Amazon Nova
| 属性 | 详情 |
📄️ Anyscale
https://app.endpoints.anyscale.com/
📄️ Apertis AI (Stima API)
概述
📄️ Baseten
LiteLLM 支持 Baseten 模型 API 和专用部署，并具有自动路由。
📄️ Bytez
LiteLLM 支持 Bytez 上的所有聊天模型！
📄️ Cerebras
https://inference-docs.cerebras.ai/api-reference/chat-completions
📄️ Chutes
概述
📄️ Clarifai
Anthropic、OpenAI、Qwen、xAI、Gemini 和大多数开源 LLM 均受 Clarifai 支持。
📄️ Cloudflare Workers AI
https://developers.cloudflare.com/workers-ai/models/text-generation/
📄️ Codestral API [Mistral AI]
Codestral 在选定的代码补全插件中可用，也可以直接查询。有关更多详细信息，请参阅文档。
📄️ Cohere
API 密钥
📄️ CometAPI
LiteLLM 支持 CometAPI 上的所有 AI 模型。CometAPI 通过统一的 API 接口提供对 500 多个 AI 模型的访问，包括最先进的模型，如 GPT-5、Claude Opus 4.1 和各种其他最先进的语言模型。
📄️ CompactifAI
https://docs.compactif.ai/
📄️ 自定义 API 服务器 (自定义格式)
通过 LiteLLM 调用您的自定义 torch-serve / 内部 LLM API
📄️ Dashscope API (Qwen 模型)
https://dashscope.console.aliyun.com/
📄️ Databricks
LiteLLM 支持 Databricks 上的所有模型
📄️ DataRobot
LiteLLM 支持 DataRobot 上的所有模型。选择 datarobot 作为提供商，通过使用上游官方 OpenAI Python API 库将您的请求路由到 datarobot OpenAI 兼容端点。
📄️ Deepgram
LiteLLM 支持 Deepgram 的 /listen 端点。
📄️ DeepInfra
https://deepinfra.com/
📄️ Deepseek
https://deepseek.com/
📄️ Docker 模型运行器
概述
📄️ ElevenLabs
ElevenLabs 提供高质量的 AI 语音技术，包括通过其转录 API 实现语音转文本功能。
📄️ Fal AI
Fal AI 提供对最先进的图像生成模型的快速、可扩展的访问，包括 FLUX、Stable Diffusion、Imagen 等。
📄️ Featherless AI
https://featherless.ai/
📄️ Fireworks AI
我们支持 ALL Fireworks AI 模型，只需在发送补全请求时将 fireworks_ai/ 作为前缀
📄️ FriendliAI
我们支持 ALL FriendliAI 模型，只需在发送补全请求时将 friendliai/ 作为前缀
📄️ Galadriel
https://docs.galadriel.com/api-reference/chat-completion-API
📄️ Github
https://github.com/marketplace/models
📄️ GitHub Copilot
https://githubdocs.cn/en/copilot
📄️ GMI Cloud
概述
📄️ ChatGPT 订阅
通过 OAuth 设备流身份验证，通过 LiteLLM 使用 ChatGPT Pro/Max 订阅模型。
📄️ GradientAI
https://digitalocean.com/products/gradientai
📄️ Groq
https://groq.com/
📄️ Helicone
概述
📄️ Heroku
配置模型
🗃️ HuggingFace
2 个项目
📄️ Hyperbolic
概述
📄️ Infinity
| 属性 | 详情 |
📄️ Jina AI
https://jina.ai/embeddings/
📄️ Lambda AI
概述
📄️ LangGraph
通过 LiteLLM 使用 OpenAI 聊天补全格式调用 LangGraph 代理。
📄️ Lemonade
Lemonade Server 是一个 OpenAI 兼容的本地语言模型推理提供商，针对 AMD GPU 和 NPU 进行了优化。lemonade litellm 提供商支持具有完整 OpenAI API 兼容性的标准聊天补全。
📄️ Llamafile
LiteLLM 支持 Llamafile 上的所有模型。
📄️ LlamaGate
概述
📄️ LM Studio
https://lm-studio.cn/docs/basics/server
📄️ Manus
通过 LiteLLM 的 OpenAI 兼容 Responses API 使用 Manus AI 代理。
📄️ Meta Llama
| 属性 | 详情 |
📄️ Milvus - 向量存储
将 Milvus 用作 RAG 的向量存储。
📄️ Mistral AI API
https://docs.mistral.ai/api/
📄️ MiniMax
概述
📄️ Moonshot AI
概述
📄️ Morph
LiteLLM 支持 Morph 上的所有模型
📄️ Nebius AI Studio
https://docs.nebius.com/studio/inference/quickstart
📄️ NLP Cloud
LiteLLM 支持 NLP Cloud 上的所有 LLM。
📄️ NanoGPT
概述
📄️ Novita AI
| 属性 | 详情 |
📄️ Nscale (欧盟主权)
https://docs.nscale.com/docs/inference/chat
🗃️ Nvidia NIM
2 个项目
📄️ Oracle Cloud Infrastructure (OCI)
LiteLLM 支持 OCI 按需 GenAI API 上的以下模型。
📄️ Ollama
LiteLLM 支持 Ollama 上的所有模型
📄️ OpenRouter
LiteLLM 支持 OpenRouter 上的所有文本/聊天/视觉/嵌入模型
📄️ Sarvam.ai
LiteLLM 支持 Sarvam ai 上的所有文本模型
📄️ 🆕 OVHCloud AI 端点
欧洲领先的法国云提供商，具有数据主权和隐私。
📄️ Perplexity AI (pplx-api)
https://www.perplexity.ai
📄️ Petals
Petals//github.com/bigscience-workshop/petals
📄️ Poe
概述
📄️ PublicAI
概述
📄️ Predibase
LiteLLM 支持 Predibase 上的所有模型
📄️ Pydantic AI Agents
通过 LiteLLM 的 A2A 网关调用 Pydantic AI Agents。
📄️ RAGFlow
Litellm 支持 Ragflow 的聊天补全 API
📄️ Recraft
https://www.recraft.ai/
📄️ Replicate
LiteLLM 支持 Replicate 上的所有模型
🗃️ RunwayML
2 个项目
📄️ SambaNova
https://cloud.sambanova.ai/
📄️ SAP Generative AI Hub
LiteLLM 支持 SAP Generative AI Hub 的编排服务。
📄️ Stability AI
https://stability.ai/
📄️ Synthetic
概述
📄️ Snowflake
| 属性 | 详情 |
📄️ Together AI
LiteLLM 支持 Together AI 上的所有模型。
📄️ Topaz
| 属性 | 详情 |
📄️ Triton Inference Server
LiteLLM 支持 Triton Inference Servers 上的嵌入模型
📄️ v0
概述
📄️ Vercel AI Gateway
概述
🗃️ vLLM
2 个项目
📄️ Volcano Engine (Volcengine)
https://www.volcengine.com/docs/82379/1263482
📄️ Voyage AI
https://docs.voyageai.com/embeddings/
📄️ Weights & Biases Inference
https://weave-docs.wandb.ai/quickstart-inference
🗃️ WatsonX
2 个项目
🗃️ xAI
2 个项目
📄️ Xiaomi MiMo
https://platform.xiaomimimo.com/#/docs
📄️ Xinference [Xorbits Inference]
https://inference.readthedocs.io/en/latest/index.html
📄️ Z.AI (Zhipu AI)
https://z.ai/