插件目录#

LLM 提供以下插件。以下是安装方法。

本地模型#

这些插件都帮助您直接在自己的计算机上运行大型语言模型

  • llm-gguf 使用 llama.cpp 运行以 GGUF 格式发布的模型。

  • llm-mlx（仅限 Mac）使用 Apple 的 MLX 框架提供对大量本地模型极高性能的访问。

  • llm-ollama 添加了对使用 Ollama 运行的本地模型的支持。

  • llm-llamafile 添加了对使用 llamafile 在本地运行的本地模型的支持。

  • llm-mlc 可以运行 MLC 项目发布的本地模型，包括可以利用 Apple Silicon M1/M2 设备上 GPU 的模型。

  • llm-gpt4all 添加了对 GPT4All 项目发布的各种模型的支持，这些模型经过优化可在您自己的机器上本地运行。这些模型包括 Vicuna、Orca、Falcon 和 MPT 的版本 - 这里是模型的完整列表。

  • llm-mpt30b 添加了对 MPT-30B 本地模型的支持。

远程 API#

这些插件可用于通过其 API 与远程托管的模型进行交互

如果一个 API 模型主机提供 OpenAI 兼容的 API，您也可以配置 LLM 与其通信，而无需额外的插件。

片段和模板加载器#

LLM 0.24 引入了对定义用于片段和模板的 -f prefix:value 或 -t prefix:value 自定义加载器的插件的支持。

  • llm-video-frames 使用 ffmpeg 将视频转换为一系列 JPEG 帧，适合馈送给不支持视频输入的视觉模型：llm -f video-frames:video.mp4 'describe the key scenes in this video'。

  • llm-templates-github 支持加载在 GitHub 上共享的模板，例如 llm -t gh:simonw/pelican-svg。

  • llm-templates-fabric 提供对 Fabric 提示集合的访问：cat setup.py | llm -t fabric:explain_code。

  • llm-fragments-github 可以在一次操作中加载整个 GitHub 仓库：llm -f github:simonw/files-to-prompt 'explain this code'。它还可以使用 llm -f issue:https://github.com/simonw/llm-fragments-github/issues/3 将问题线程作为 Markdown 获取。

  • llm-hacker-news 将 Hacker News 中的对话作为片段导入：llm -f hn:43615912 'summary with illustrative direct quotes'。

  • 由 samueldg 开发的 llm-fragments-pypi 将 PyPI 包的描述和元数据作为片段加载：llm -f pypi:ruff "What flake8 plugins does ruff re-implement?"。

嵌入模型#

嵌入模型 是可用于生成和存储文本嵌入向量的模型。

额外命令#

  • llm-cmd 接受一个用于 shell 命令的提示，运行该提示并将结果填充到您的 shell 中，以便您可以查看、编辑，然后按 <enter> 执行或按 ctrl+c 取消。

  • llm-cmd-comp 为您的 shell 提供一个按键绑定，它将启动一个聊天来构建命令。准备好后，按 <enter>，它将直接返回到您的 shell 命令行，以便您可以运行它。

  • llm-python 添加了一个 llm python 命令，用于在与 LLM 相同的虚拟环境中运行 Python 解释器。这对于调试非常有用，如果您使用 Homebrew 或 pipx 安装了 LLM，它还提供了一种方便的方式与 LLM Python API 交互。

  • llm-cluster 添加了一个 llm cluster 命令，用于计算一组嵌入的聚类。然后可以将计算出的聚类传递给大型语言模型以生成摘要描述。

  • llm-jq 让您可以管道输入 JSON 数据和描述 jq 程序的提示，然后对 JSON 执行生成的程序。

仅供娱乐#