🗃️ OpenAI
3 个项目
📄️ OpenAI (文本补全)
LiteLLM 支持 OpenAI 文本补全模型
📄️ OpenAI 兼容端点
选择 openai 作为提供商会将您的请求路由到使用上游的 OpenAI 兼容端点
🗃️ Azure OpenAI
2 个项目
📄️ Azure AI Studio
LiteLLM 支持 Azure AI Studio 上的所有模型
📄️ AI/ML API
AI/ML API 入门很简单。按照以下步骤设置您的集成
📄️ VertexAI [Anthropic, Gemini, 模型库]
概览
🗃️ Google AI Studio
3 个项目
📄️ Anthropic
LiteLLM 支持所有 Anthropic 模型。
📄️ AWS Sagemaker
LiteLLM 支持所有 Sagemaker Huggingface Jumpstart 模型
🗃️ Bedrock
2 个项目
📄️ LiteLLM 代理 (LLM 网关)
| 属性 | 详情 |
📄️ Meta Llama
| 属性 | 详情 |
📄️ Mistral AI API
https://docs.mistral.org.cn/api/
📄️ Codestral API [Mistral AI]
Codestral 可在部分代码补全插件中使用，也可直接查询。详情请参阅文档。
📄️ Cohere
API 密钥
📄️ Anyscale
https://app.endpoints.anyscale.com/
📄️ Hugging Face
LiteLLM 支持跨多个服务运行托管在 Hugging Face Hub 上的模型的推理。
📄️ Databricks
LiteLLM 支持 Databricks 上的所有模型
📄️ Deepgram
LiteLLM 支持 Deepgram 的 /listen 端点。
📄️ IBM watsonx.ai
LiteLLM 支持所有 IBM watsonx.ai 基础模型和嵌入。
📄️ Predibase
LiteLLM 支持 Predibase 上的所有模型
📄️ Nvidia NIM
https://docs.api.nvidia.com/nim/reference/
📄️ Nscale (欧盟主权)
https://docs.nscale.com/docs/inference/chat
📄️ xAI
https://docs.x.ai/docs
📄️ LM Studio
https://lm-studio.cn/docs/basics/server
📄️ Cerebras
https://inference-docs.cerebras.ai/api-reference/chat-completions
📄️ Volcano Engine (火山引擎)
https://www.volcengine.com/docs/82379/1263482
📄️ Triton 推理服务器
LiteLLM 支持 Triton 推理服务器上的嵌入模型
📄️ Ollama
LiteLLM 支持 Ollama 的所有模型
📄️ Perplexity AI (pplx-api)
https://www.perplexity.ai
📄️ FriendliAI
我们支持所有 FriendliAI 模型，发送补全请求时只需将 friendliai/ 设置为前缀
📄️ Galadriel
https://docs.galadriel.com/api-reference/chat-completion-API
📄️ Topaz
| 属性 | 详情 |
📄️ Groq
https://groq.com/
📄️ 🆕 Github
https://github.com/marketplace/models
📄️ Deepseek
https://deepseek.com/
📄️ Fireworks AI
我们支持所有 Fireworks AI 模型，发送补全请求时只需将 fireworks_ai/ 设置为前缀
📄️ Clarifai
Anthropic、OpenAI、Mistral、Llama 和 Gemini LLM 在 Clarifai 上均受支持。
📄️ VLLM
LiteLLM 支持 VLLM 上的所有模型。
📄️ Llamafile
LiteLLM 支持 Llamafile 上的所有模型。
📄️ Infinity
| 属性 | 详情 |
📄️ Xinference [Xorbits 推理]
https://inference.readthedocs.io/en/latest/index.html
📄️ Cloudflare Workers AI
https://developers.cloudflare.com/workers-ai/models/text-generation/
📄️ DeepInfra
https://deepinfra.com/
📄️ AI21
LiteLLM 支持以下 AI21 模型
📄️ NLP Cloud
LiteLLM 支持 NLP Cloud 上的所有 LLM。
📄️ Replicate
LiteLLM 支持 Replicate 上的所有模型
📄️ Together AI
LiteLLM 支持 Together AI 上的所有模型。
📄️ Novita AI
| 属性 | 详情 |
📄️ Voyage AI
https://docs.voyageai.com/embeddings/
📄️ Jina AI
https://jina.ai/embeddings/
📄️ Aleph Alpha
LiteLLM 支持 Aleph Alpha 的所有模型。
📄️ Baseten
LiteLLM 支持 Baseten 上的任何 Text-Gen-Interface 模型。
📄️ OpenRouter
LiteLLM 支持 OpenRouter 的所有文本/聊天/视觉模型
📄️ SambaNova
https://cloud.sambanova.ai/
📄️ 自定义 API 服务器 (自定义格式)
通过 LiteLLM 调用您的自定义 torch-serve / 内部 LLM API
📄️ Petals
Petals//github.com/bigscience-workshop/petals
📄️ Snowflake
| 属性 | 详情 |
📄️ Featherless AI
https://featherless.ai/