一篇标记为 "fallbacks" 的文章

新的 LiteLLM 稳定版 刚刚发布。以下是自 v1.52.2-stable 以来的 5 项更新。

langfuse, fallbacks, 新模型, azure_storage

Langfuse 提示管理​

这使得在 Langfuse 上运行实验或更改特定模型（例如将 gpt-4o 更改为 gpt-4o-mini）变得容易，而无需更改您的应用程序。 由此开始

客户端控制回退提示​

Claude 提示与 OpenAI 不同

在进行回退时传递特定于模型的提示。 由此开始

新提供商 / 模型​

• NVIDIA Triton /infer 端点。 由此开始
• Infinity 重排模型 由此开始

✨ Azure Data Lake Storage 支持​

将 LLM 使用情况（花费、令牌）数据发送到 Azure Data Lake。这使得在其他服务（例如 Databricks）上消费使用数据变得容易。 由此开始

Docker 运行 LiteLLM​

docker run \
-e STORE_MODEL_IN_DB=True \
-p 4000:4000 \
ghcr.io/berriai/litellm:litellm_stable_release_branch-v1.55.8-stable

获取每日更新​

LiteLLM 每天都会发布新版本。在 LinkedIn 上关注我们以获取每日更新。