最新

Ollama 怎么导入下载好的 GGUF 模型

从社区下载的 GGUF 拖不进 Ollama,要先用描述文件登记,附量化档位与路径写法的坑。

从模型社区下载了 GGUF 文件,放进目录却看不到,或者创建时报错。Ollama 不会自动扫描磁盘上的模型文件,需要用一份描述文件把本地文件登记成模型,这一步没做,文件放哪都没用。

入口在哪

  • 模型描述文件:一个纯文本文件,写明基础文件路径和可调参数,创建模型时读的就是它。
  • 命令行创建:用创建指令读描述文件,把 GGUF 登记进本地模型库,不同版本支持的参数略有差别。
  • 模型列表:列出已有模型,确认是否登记成功,也是排查报错的第一站。
  • 图形客户端:部分第三方客户端提供导入入口,本质仍是替你拼一条创建命令,路径写错照样失败。

具体步骤

  1. 先看文件完整性与量化档位。文件名里通常带量化标记,位数越低体积越小、精度损失越大,按显存和用途选。
  2. 在 GGUF 所在目录新建纯文本描述文件,第一行写基础文件路径,相对路径和绝对路径都行,别带中文和空格。
  3. 按需补参数:上下文长度、温度、停止词等,不写就用默认值。第一次跑通前不建议改太多。
  4. 执行创建命令,把描述文件登记成模型,命名用小写加连字符,避免大小写和空格带来的兼容问题。
  5. 创建完立刻跑一次对话测试,看加载是否报错、输出是否正常,别等接进应用才发现问题。
  6. 确认可用后再清理下载的临时文件。模型已经复制进模型库,原文件删不删都不影响使用。

几个坑

  • 导入时只认 GGUF 这一种格式,其他格式的权重文件要先转换,直接塞进去会报错。
  • 描述文件里的路径写错是最常见的报错来源。路径含空格要加引号,含中文目录建议先挪到英文路径。
  • 上下文长度开太大直接吃显存,表现为加载失败或极慢。先按默认值跑通再逐步往上调。
  • 不同量化档位对同一段提示的回答会有差异,换档后要重新验证效果,别默认一样。

怎么验证

列出模型能看到新名字;跑一段固定提示,输出通顺且长度合理;再观察资源占用是否在可接受范围。三步都过,说明导入成功,可以接进下一步。

常见问题

创建时报找不到文件?

多半是描述文件里的路径和实际位置不一致,或者路径里有空格没加引号。先用绝对路径跑通,再改成相对路径。

导入后回答乱码或者反复重复?

检查量化档位和对话模板。有些模型需要特定的模板配置,描述文件里没指定就会输出异常。

能不能同时装多个量化版本?

可以,用不同模型名区分。但每个都占磁盘,加载时各占显存,实际留一两个常用的就够。

一句话总结:GGUF 不是拖进去就能用,写清路径的描述文件加一条创建命令,才算真正导入。