设置#
安装#
使用 pip 安装此工具
pip install llm
或使用 pipx
pipx install llm
uv tool install llm
brew install llm
升级到最新版本#
如果您是使用 pip 安装的
pip install -U llm
对于 pipx
pipx upgrade llm
对于 uv
uv tool upgrade llm
对于 Homebrew
brew upgrade llm
如果 Homebrew 上尚未提供最新版本，您可以这样升级
llm install -U llm
使用 uvx#
如果您安装了 uv，您也可以使用 uvx 命令来尝试 LLM，而无需先安装，方法如下
export OPENAI_API_KEY='sx-...'
uvx llm 'fun facts about skunks'
这将使用一个临时虚拟环境安装并运行 LLM。
您可以使用 --with 选项添加额外的插件。例如，要使用 Anthropic 的模型
export ANTHROPIC_API_KEY='...'
uvx --with llm-anthropic llm -m claude-3.5-haiku 'fun facts about skunks'
所有常用的 LLM 命令都适用于 uvx llm。例如，这里是如何设置您的 OpenAI 密钥而无需环境变量
uvx llm keys set openai
# Paste key here
关于 Homebrew 和 PyTorch 的注意事项#
Homebrew 打包的 LLM 版本目前使用 Python 3.12。PyTorch 项目尚未针对该 Python 版本发布稳定的 PyTorch 版本。
这意味着依赖于 PyTorch 的 LLM 插件，例如 llm-sentence-transformers，可能无法通过 Homebrew 版本的 LLM cleanly 安装。
您可以通过在安装 llm-sentence-transformers 之前手动安装 PyTorch 来解决此问题
llm install llm-python
llm python -m pip install \
--pre torch torchvision \
--index-url https://download.pytorch.org/whl/nightly/cpu
llm install llm-sentence-transformers
这应该会生成一个可用的插件安装。
安装插件#
插件可用于添加对其他语言模型的支持，包括可以在您自己设备上运行的模型。
例如，llm-gpt4all 插件增加了对 17 个可以在您自己机器上安装的新模型的支持。您可以像这样安装它
llm install llm-gpt4all
API 密钥管理#
许多 LLM 模型需要 API 密钥。可以使用几种不同的机制向此工具提供这些 API 密钥。
您可以从 OpenAI 网站上的 API 密钥页面 获取其语言模型的 API 密钥。
保存和使用存储的密钥#
存储 API 密钥最简单的方法是使用 llm keys set 命令
llm keys set openai
将提示您输入密钥，如下所示
% llm keys set openai
Enter key:
一旦存储，此密钥将自动用于后续的 API 调用
llm "Five ludicrous names for a pet lobster"
您可以使用此命令列出已设置的密钥名称
llm keys
以这种方式存储的密钥保存在一个名为 keys.json 的文件中。运行以下命令将显示此文件的路径
llm keys path
在 macOS 上，路径为 ~/Library/Application Support/io.datasette.llm/keys.json。在 Linux 上，可能类似于 ~/.config/io.datasette.llm/keys.json。
使用 --key 选项传递密钥#
可以使用 --key 选项直接传递密钥，如下所示
llm "Five names for pet weasels" --key sk-my-key-goes-here
您也可以传递存储在 keys.json 文件中的密钥别名。例如，如果您想维护一个个人 API 密钥，可以这样添加
llm keys set personal
然后像这样用于提示
llm "Five friendly names for a pet skunk" --key personal
环境变量中的密钥#
密钥也可以通过环境变量设置。不同模型的环境变量不同。
对于 OpenAI 模型，密钥将从 OPENAI_API_KEY 环境变量读取。
如果在命令中没有传递 --key 选项，并且 keys.json 中也没有配置密钥，则将使用环境变量。
要使用环境变量代替 keys.json 中的密钥，请像这样运行提示
llm 'my prompt' --key $OPENAI_API_KEY
配置#
您可以通过多种不同的方式配置 LLM。
设置自定义默认模型#
在没有 -m/--model 选项的情况下调用 llm 时使用的模型默认为 gpt-4o-mini - 最快且成本最低的 OpenAI 模型。
您可以使用 llm models default 命令来设置不同的默认模型。对于 GPT-4o（较慢、成本较高，但能力更强），运行此命令
llm models default gpt-4o
您可以运行此命令查看当前模型
llm models default
任何支持的模型别名都可以传递给此命令。
设置自定义目录位置#
此工具将各种文件（提示模板、存储的密钥、首选项、日志数据库）存储在您计算机上的一个目录中。
在 macOS 上，这是 ~/Library/Application Support/io.datasette.llm/。
在 Linux 上，可能类似于 ~/.config/io.datasette.llm/。
您可以通过设置 LLM_USER_PATH 环境变量来设置此目录的自定义位置
export LLM_USER_PATH=/path/to/my/custom/directory
开启和关闭 SQLite 日志记录#
默认情况下，LLM 会将您的每个提示和响应记录到 SQLite 数据库中 - 更多详细信息请参阅日志记录到 SQLite。
您可以运行以下命令默认关闭此行为
llm logs off
或者通过以下命令重新开启
llm logs on
运行 llm logs status 查看当前设置状态。