FriendliAI

信息

我们支持所有 FriendliAI 模型，只需在发送补全请求时设置前缀 friendliai/

属性	详细信息
描述	用于构建生产级复合 AI 系统的最快、最高效的推理引擎。
LiteLLM 上的提供商路由	friendliai/
提供商文档	FriendliAI ↗
支持的 OpenAI 端点	/chat/completions, /completions

API Key

# env variable
os.environ['FRIENDLI_TOKEN']

示例用法

from litellm import completion
import os

os.environ['FRIENDLI_TOKEN'] = ""
response = completion(
    model="friendliai/meta-llama-3.1-8b-instruct",
    messages=[
       {"role": "user", "content": "hello from litellm"}
   ],
)
print(response)

示例用法 - 流式传输

from litellm import completion
import os

os.environ['FRIENDLI_TOKEN'] = ""
response = completion(
    model="friendliai/meta-llama-3.1-8b-instruct",
    messages=[
       {"role": "user", "content": "hello from litellm"}
   ],
    stream=True
)

for chunk in response:
    print(chunk)

支持的模型

我们支持所有 FriendliAI AI 模型，只需在发送补全请求时设置前缀 friendliai/

模型名称	函数调用
meta-llama-3.1-8b-instruct	completion(model="friendliai/meta-llama-3.1-8b-instruct", messages)
meta-llama-3.1-70b-instruct	completion(model="friendliai/meta-llama-3.1-70b-instruct", messages)