AI 怎么限制本地模型占用的显存
本地跑模型,不是加载失败就是慢得离谱,多半是权重、上下文缓存和并发叠加超了。这篇讲三块各占多少、参数在哪调、怎么判断溢出了。
本地跑模型最常遇到两件事:一是加载就报显存不足,二是能跑但慢得离谱。原因通常是权重、上下文缓存和并发数三者叠加超了显存。这篇讲这几个量各占多少、参数在哪调、以及怎么判断是不是悄悄跑到内存里去了。
入口在哪
- 本地推理工具一般在模型配置文件里支持写参数,常见的有上下文长度和卸载到显卡的层数。不同版本入口名称略有差别,有的直接做成命令行选项。
- 并发数通常是服务级的环境变量,写在服务启动配置里,改完要重启服务才生效。
- 图形前端会把这些收进高级设置。默认值往往要么偏保守要么偏激进,值得自己核一遍。
具体步骤
- 先算预算。权重大小约等于参数量乘以每参数字节数,四比特量化大致是每个参数半个字节多一点;上下文缓存随长度线性增长,并发请求各要一份;再留一成到两成给中间结果和框架自身。
- 再看显卡当前可用显存,记下空闲值,别按标称容量算。
- 选量化等级。四比特是常见折中,再往下压质量掉得明显,往上加则显存吃紧。
- 把上下文长度设成实际需要,不要一上来开最大。多数对话任务四五千足够。
- 层数从全量卸载往下试,每次减几层,观察速度变化。掉到某个点速度骤降,说明开始溢出。
- 并发先设一,确认单路稳定后再往上加,每加一档测一次显存峰值。
- 把稳定下来的组合写进配置文件并注明显卡型号。换机器要重新试。
几个坑
- 溢出到内存不报错。表现是能跑但慢十倍,很容易被误判成模型本身慢。看显存占用和生成速度就能分辨。
- 模型常驻不释放。闲置时显存仍被占着,再加载第二个模型就失败。多数工具支持设置空闲多久后卸载。
- 集成显卡和内存共享。核显机器上所谓的显存其实是划走的一块内存,参数要按总内存算。
- 量化太狠。四比特以下偶发胡言乱语,长上下文时更明显,别只看能不能跑起来。
- 只看加载成功不看长上下文。短问答正常,塞进几千字就崩,是缓存没算进去。
怎么验证
- 跑一次长上下文请求,同时盯显存占用曲线。应平稳上升后回落,一路顶到上限就要减参数。
- 记录生成速度。同一模型同一量化等级,速度突然掉一个数量级,基本可以判定溢出了。
- 用系统自带工具看进程占的是显存还是内存。占用记在内存项上,说明卸载没生效。
- 连续跑十轮再测一次,确认不会因为碎片累积而逐步变慢。
常见问题
显存刚好够用行不行
不建议贴着上限跑。系统桌面、浏览器、其他进程都会临时抢显存,贴着上限时偶发失败最难排查。留一成到两成余量,稳定性比多跑一点上下文重要。
降上下文和降层数先动哪个
先降上下文。它对质量的影响是可预期的,超出部分截断而已;层数降太多会让大量计算落到处理器上,速度断崖式下跌,体验更差。
同尺寸模型为什么占用差很多
参数量只是其中之一。词表大小、层数、注意力头的组织方式、上下文窗口设计都会影响缓存占用,量化文件的打包方式也不一样。换模型时按实测重新定参数,别照搬上一套。
一句话总结:显存等于权重加缓存加并发,先降上下文再降层数,留两成余量,速度骤降就是溢出信号。