新的 LiteLLM Stable 版本刚刚发布。以下是自 v1.52.2-stable 以来的 5 项更新。
langfuse、fallbacks、new models、azure_storage
Langfuse 提示词管理
这使得在 Langfuse 上轻松运行实验或更改特定模型（例如将 gpt-4o 更改为 gpt-4o-mini）成为可能，而无需修改您的应用程序。由此开始
客户端控制回退提示词
Claude 的提示词与 OpenAI 不同
在执行回退时传入特定于模型的提示词。由此开始
新提供商 / 模型
- NVIDIA Triton
/infer端点。由此开始 - Infinity Rerank 模型由此开始
✨ 支持 Azure Data Lake Storage
将 LLM 使用情况数据（费用、tokens）发送到 Azure Data Lake。这使得在其他服务（例如 Databricks）上使用这些数据变得轻松。由此开始
Docker 运行 LiteLLM
docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:litellm_stable_release_branch-v1.55.8-stable
获取每日更新
LiteLLM 每天发布新版本。在 LinkedIn 上关注我们以获取每日更新。