跳至主要内容

AI 网关

工程

我们如何构建全球使用最广泛的开源 AI 网关。包括路由、可靠性、可观测性以及我们在过程中学到的经验。

我们正在招聘!

路由至 100+ 模型提供商

OpenAIOpenAI|AnthropicAnthropic|Google GeminiGoogle Gemini|AWS BedrockAWS Bedrock|Azure OpenAIAzure OpenAI|Mistral AIMistral AI|Meta LlamaMeta Llama|GroqGroq|Hugging FaceHugging Face|PerplexityPerplexity|DeepSeekDeepSeek|CohereCohere|Together AITogether AI|Vertex AIVertex AI|

宣布组件化部署

LiteLLM 的组件化部署如何将管理/UI 控制平面与 LLM 数据平面隔离,从而提升规模化下的可靠性。

Yassin Kortam