Ollama 怎么导入下载好的 GGUF 模型
从社区下载的 GGUF 拖不进 Ollama,要先用描述文件登记,附量化档位与路径写法的坑。
从模型社区下载了 GGUF 文件,放进目录却看不到,或者创建时报错。Ollama 不会自动扫描磁盘上的模型文件,需要用一份描述文件把本地文件登记成模型,这一步没做,文件放哪都没用。
入口在哪
- 模型描述文件:一个纯文本文件,写明基础文件路径和可调参数,创建模型时读的就是它。
- 命令行创建:用创建指令读描述文件,把 GGUF 登记进本地模型库,不同版本支持的参数略有差别。
- 模型列表:列出已有模型,确认是否登记成功,也是排查报错的第一站。
- 图形客户端:部分第三方客户端提供导入入口,本质仍是替你拼一条创建命令,路径写错照样失败。
具体步骤
- 先看文件完整性与量化档位。文件名里通常带量化标记,位数越低体积越小、精度损失越大,按显存和用途选。
- 在 GGUF 所在目录新建纯文本描述文件,第一行写基础文件路径,相对路径和绝对路径都行,别带中文和空格。
- 按需补参数:上下文长度、温度、停止词等,不写就用默认值。第一次跑通前不建议改太多。
- 执行创建命令,把描述文件登记成模型,命名用小写加连字符,避免大小写和空格带来的兼容问题。
- 创建完立刻跑一次对话测试,看加载是否报错、输出是否正常,别等接进应用才发现问题。
- 确认可用后再清理下载的临时文件。模型已经复制进模型库,原文件删不删都不影响使用。
几个坑
- 导入时只认 GGUF 这一种格式,其他格式的权重文件要先转换,直接塞进去会报错。
- 描述文件里的路径写错是最常见的报错来源。路径含空格要加引号,含中文目录建议先挪到英文路径。
- 上下文长度开太大直接吃显存,表现为加载失败或极慢。先按默认值跑通再逐步往上调。
- 不同量化档位对同一段提示的回答会有差异,换档后要重新验证效果,别默认一样。
怎么验证
列出模型能看到新名字;跑一段固定提示,输出通顺且长度合理;再观察资源占用是否在可接受范围。三步都过,说明导入成功,可以接进下一步。
常见问题
创建时报找不到文件?
多半是描述文件里的路径和实际位置不一致,或者路径里有空格没加引号。先用绝对路径跑通,再改成相对路径。
导入后回答乱码或者反复重复?
检查量化档位和对话模板。有些模型需要特定的模板配置,描述文件里没指定就会输出异常。
能不能同时装多个量化版本?
可以,用不同模型名区分。但每个都占磁盘,加载时各占显存,实际留一两个常用的就够。
一句话总结:GGUF 不是拖进去就能用,写清路径的描述文件加一条创建命令,才算真正导入。