最新

Ollama 怎么调大上下文长度

临时改、写进模型文件、按请求传参三条路把上下文调大,同时盯着显存,别让速度掉一截。

本地跑模型时,长文档读一半就忘、开头内容被吃掉,多数不是模型不行,而是上下文长度还停在默认值。Ollama 支持临时改、写进模型文件、按请求传参三种方式,代价是显存占用跟着涨。下面按这三种场景分别写。

入口在哪

  • 命令行交互里用斜杠命令设置本次会话的参数,退出即失效。
  • 模型文件(Modelfile)里的参数行,是持久生效的那一种。
  • 通过接口调用时,请求体的参数对象里可以逐次指定。
  • 服务端的默认上下文也可以用启动时的环境变量统一抬高,具体变量名以当前版本文档为准。

具体步骤

  1. 先跑一次查看命令,确认当前加载的模型名和实际使用的上下文长度。
  2. 临时验证:在对话里输入设置参数的命令,把上下文写到一个够用的值,再贴一段长文试读;档位从短到长逐级试,一次跳到最大值只会把问题掩盖成速度慢。
  3. 持久生效:写一个模型文件,第一行引用基础模型,后面加一行参数指定上下文长度。
  4. 用创建命令基于这个文件生成一个新名字的模型,之后都跑新名字,原始模型不动。
  5. 接口调用时在参数对象里传同一个字段,别依赖默认值。
  6. 改完退出当前会话重新加载,再查看一次运行状态,确认新值已经生效。

几个坑

  • 上下文直接吃显存,调大后超出显存会把部分计算退回处理器,速度掉得比想象中狠。
  • 模型自带的最大上下文是硬上限,写得更大也会被截断,而且截断通常不报错,只是悄悄丢内容。
  • 设得太小同样危险,长文档会被从中间裁掉,问它开头写了什么就露馅了。
  • 并发请求时显存按并发数叠加,单条能跑通不代表两个人同时用还能跑通。

怎么验证

贴一段明显超过默认长度的文本,在开头埋一个只有你能答的编号,结尾再问一次这个编号。答得出来说明上下文真的撑住了。同时用系统监视工具看显存峰值,留出两三成余量给并发。再把这套测试跑到第二个并发请求上,两条同时跑仍然记得住开头,参数才算真的调到位。

常见问题

改完为什么还是老样子

多半是旧会话还在跑原来的模型实例。退出重进,或者用运行状态命令确认加载的是新模型名。

上下文能调到很大吗

受模型自身上限和显存双重限制,硬调超限只会被截断或退回处理器,没有免费午餐。

参数写进模型文件后还能改吗

能。改完文件重新创建一次同名模型即可覆盖,前提是同名覆盖前先确认没有别的脚本在引用。

一句话总结:先用临时参数试出够用的档位,再把参数写进模型文件,全程盯着显存别让它爆掉。