Dify 怎么接入本地 Ollama 模型
Dify 接本地 Ollama,十次失败有九次是地址填错。讲清模型名怎么对上、容器内外地址怎么写,以及怎么一步步验证连通。
Dify 是一套开源的 AI 应用开发平台,模型既能接云端接口,也能接本机跑的 Ollama。接本地模型的好处是数据不出内网、不按次计费,代价是要自己把网络地址和模型名对上。最常见的失败不是模型不行,而是地址填成了容器里的本机回环。
入口在哪
- Dify 后台的模型供应商设置。从头像菜单进设置,左栏找模型供应商,列表里选 Ollama。不同版本这个入口的位置和叫法略有差别,找不到就在设置里搜关键词。
- Ollama 一侧的入口是命令行。装好后先在终端确认 ollama 命令能用,再拉一个模型下来。
- Dify 用 Docker 部署时,配置文件在部署目录里,改完环境变量要重启容器才生效。
具体步骤
- 在装 Ollama 的机器上拉模型。命令行执行 ollama pull 加模型名,拉完用 ollama list 确认它已经在本地。
- 让 Ollama 监听所有网卡。默认只监听本机回环,Dify 跑在容器里就访问不到,需要设置环境变量后重启服务。
- 回到 Dify,进设置里的模型供应商,找到 Ollama,点添加模型。
- 填模型名称。必须和 ollama list 里显示的完全一致,多一个后缀都会报找不到。
- 填基础地址。Dify 跑在 Docker 里时,填 localhost 指的是容器自己,要填宿主机的局域网地址;桌面版 Docker 可以用 host.docker.internal 这个域名。
- 保存后点测试。提示连接成功,说明这一层通了。
- 到系统模型设置里,把刚加的模型设为对应类型的默认模型,新建应用时才会默认选中它。
几个坑
- 地址填 127.0.0.1。这是最常见的一条,容器里的回环地址指向容器自己,永远连不到宿主机。
- 模型名照抄网上的写法。别人写的是带参数量的版本名,你本地拉的是另一版,名称对不上就报错。
- 防火墙只放行了本机。宿主机上能 curl 通,进了容器就不通,多半是端口没对外开放。
- 上下文长度设得过大。本地显存扛不住,请求会直接失败或者极慢,先把上下文调小跑通再放宽。
- 改了环境变量没重启容器。配置还是旧的,怎么测都不通。
怎么验证
- 先在宿主机终端用 curl 请求 Ollama 的接口,能返回模型列表,说明服务本身正常。
- 再进 Dify 的容器里 curl 同一个地址,这一步通了,网络才算真的通。
- 在 Dify 新建一个最简单的对话应用,选这个本地模型,发一句测试问题,看能否正常流式返回。
- 打开 Dify 的日志或调用记录,确认请求确实打到了本地地址,而不是悄悄走了别的模型。
常见问题
能不能同时接多个本地模型
可以,同一个供应商下能添加多个模型条目,分别填名字。建议按用途命名,比如对话一个、嵌入一个,后面配知识库时不容易选错。
对话很慢是模型的问题吗
先看显存占用和模型参数量,再看上下文长度。本地推理速度主要由显卡和量化档决定,同一个模型换小一号的量化版本会明显变快,质量也会降一点,自己权衡。
Dify 升级后模型配置不见了
升级一般不动模型配置。但如果重建容器时没有挂载持久化目录,配置会跟着容器一起消失。部署时把数据目录挂出来,升级前先备份一份。
一句话总结:接本地模型就三件事,模型名对上、地址别填回环、容器内外各测一次,通了再谈效果。