跳到主要内容

迁移指南 - LiteLLM v1.0.0+

当我们有重大变更（例如从 1.x.x 到 2.x.x）时，我们会在此处记录这些变更。

1.0.0​

重大变更前的最后一个版本: 0.14.0

有哪些变更？

  • 要求 openai>=1.0.0
  • openai.InvalidRequestError → openai.BadRequestError
  • openai.ServiceUnavailableError  →  openai.APIStatusError
  • 新增 LiteLLM 客户端，允许用户传入 api_key
    • litellm.Litellm(api_key="sk-123")
  • 响应对象现在继承自 BaseModel（之前是 OpenAIObject）
  • 新增 默认异常 - APIConnectionError（之前是 APIError）
  • litellm.get_max_tokens() 现在返回一个 int 而不是一个 dict
    max_tokens = litellm.get_max_tokens("gpt-3.5-turbo") # returns an int not a dict 
    assert max_tokens==4097
  • 流式传输 - OpenAI Chunks 现在对空的流式块返回 None。这是如何处理包含内容的流式块的方法
    response = litellm.completion(model="gpt-3.5-turbo", messages=messages, stream=True)
    for part in response:
        print(part.choices[0].delta.content or "")

我们如何更好地沟通变更？ 告诉我们