Ollama 怎么让模型常驻显存不被反复卸载
每次提问都要等几十秒重新加载,多半是模型被卸载了。用常驻时长参数和状态命令,把加载开销压到一次。
本地跑模型最常见的抱怨是第二次提问反而更慢,其实不是模型变笨了,是它已经被从显存里卸掉,每次都要重新读一遍权重文件。这篇只讲怎么让它留在显存里。
入口在哪
- 命令行里的状态查看子命令,能列出当前已加载的模型和剩余驻留时间,卸载后这个列表是空的。
- 单次请求的请求体里可以带常驻时长字段,常见写法是 keep_alive,值可以是时长字符串或表示永久的负数。
- 服务端的全局默认值走环境变量,名字类似 OLLAMA_KEEP_ALIVE,改完要重启服务才生效,不同版本变量名和默认值略有差别。
具体步骤
- 先确认症状。连续提两个问题,第二个明显更快说明还在显存里;两个都慢就是每次都在重新加载。
- 用状态命令看列表。空列表意味着没有常驻,里面有记录时能看到预计卸载时间。
- 先做单次验证:在请求体里加常驻时长,比如半小时,跑一次成功的请求。
- 再改全局默认值。环境变量设好之后重启服务,否则旧进程还在用旧配置。
- 数值不要贪大。同时常驻两三个大模型很容易把显存撑爆,后面来的请求会排队或直接失败。
- 用完主动卸载,别等它自然过期。长期占着显存会影响其他需要显卡的程序。
几个坑
- 模型太大装不下时会自动回落到处理器运算,速度骤降但界面没有任何报错,只表现为慢,很容易误判成网络问题。
- 设成永久常驻后,重启服务也不一定释放,显存要等到进程退出。临时调试时别设永久。
- 笔记本双显卡环境下设备选择可能不对,模型被加载到核显上,看着常驻但速度不对,先确认占用的哪块卡。
- 显存被浏览器、剪辑软件、其他推理服务占着时,常驻设置只会让新模型加载失败,先腾出空间。
怎么验证
用状态命令确认模型仍在列表里,并且预计卸载时间在未来。再连着发两次同样的短请求,看第二次的首字延迟是否明显低于第一次。最后用显卡监控工具看占用是否稳定不抖动。
常见问题
设了常驻,第二天回来还是要等很久?
机器休眠、驱动重置、服务重启都会清掉显存里的内容,设置只能管正常运行期间。想避免每次冷启动,要么让服务开机自启并在启动后预热一次,要么接受第一次慢。
常驻会不会让电费明显上涨?
模型闲置时通常不做推理,功耗主要来自显存占用带来的基础功耗,比满载推理低得多。台式机影响不大,笔记本要注意续航和散热,长时间不用还是卸载更合适。
多个模型轮流用,常驻几个合适?
按显存总量算,留出至少一到两成余量给系统和显示输出。两个中等模型通常比一个大模型加一个小模型更稳,实在需要频繁切换就接受加载开销,别硬塞。
一句话总结:用状态命令确认是否常驻,请求参数管单次、环境变量管全局,用完记得主动卸载。