其他模型

LLM 默认支持 OpenAI 模型。你可以安装插件来添加对其他模型的支持。你也可以使用配置文件添加额外的与 OpenAI API 兼容的模型。

安装和使用本地模型

LLM 插件可以提供在你机器上运行的本地模型。

要安装 llm-gpt4all，它提供了来自 GPT4All 项目的 17 个模型，运行此命令：

llm install llm-gpt4all

运行 llm models 查看可用模型的完整列表。

要通过 GPT4All 的一个模型运行提示，请使用 -m/--model 指定它

llm -m orca-mini-3b-gguf2-q4_0 'What is the capital of France?'

首次使用时，模型会被下载并缓存。

查看插件目录以获取其他模型的最新可用插件列表。

OpenAI 兼容模型

像 LocalAI 这样的项目提供了模仿 OpenAI API 的 REST API，但可以用来运行其他模型，包括可以安装在你自己机器上的模型。这些可以使用相同的配置机制添加。

model_id 是 LLM 将用于模型的名称。model_name 是需要传递给 API 的名称——它可能与 model_id 不同，特别是当 model_id 可能与已安装的其他模型冲突时。

api_base 键可用于将 OpenAI 客户端库指向不同的 API 端点。

要添加由本地安装的 LocalAI 托管的 orca-mini-3b 模型，请将其添加到你的 extra-openai-models.yaml 文件中

- model_id: orca-openai-compat
  model_name: orca-mini-3b.ggmlv3
  api_base: "http://localhost:8080"

如果设置了 api_base，默认情况下不会发送现有的已配置的 openai API 密钥。

你可以将 api_key_name 设置为使用 API 密钥管理功能存储的密钥的名称。

如果模型是使用 /completion 而不是 /completion/chat 端点的完成模型，请添加 completion: true。

如果模型不支持流式传输，请添加 can_stream: false 来禁用流式传输选项。

如果模型支持通过 JSON Schema 进行结构化输出，你可以添加 supports_schema: true 来支持此功能。

如果模型是视觉模型，你可以添加 vision: true 来支持此功能并使用图像附件。

如果模型是音频模型，你可以添加 audio: true 来支持此功能并使用音频附件。

按照这种方式配置模型后，运行 llm models 检查它是否正确安装。然后你可以像这样针对它运行提示：

llm -m orca-openai-compat 'What is the capital of France?'

并使用此命令确认它们已正确记录：

llm logs -n 1

额外 HTTP 头部

一些提供商，例如 openrouter.ai，可能需要设置额外的 HTTP 头部。你可以使用 headers: 键进行设置，如下所示：

- model_id: claude
  model_name: anthropic/claude-2
  api_base: "https://openrouter.ai/api/v1"
  api_key_name: openrouter
  headers:
    HTTP-Referer: "https://llm.datasette.com.cn/"
    X-Title: LLM