最新

NAS 怎么判断 Docker 容器退出是内存不够还是程序报错

容器忽然变成停止状态,日志只有几行,先别急着加内存。讲清退出码、容器状态字段和系统日志怎么互证,分清是内存被回收还是程序自己报错。

NAS 上的容器昨天还好好的,今天打开管理界面发现它停在停止状态,日志只有短短几行。退出可能是内存被系统回收,也可能是程序自己报错退出,两者的处理方向完全相反:前者要腾内存或者调限制,后者要看日志改配置。先拿退出码和系统记录把原因分清,再动手。

入口在哪

三处记录最关键:容器管理界面的事件或日志页、容器详情里的退出码、NAS 系统日志里内核回收内存的记录。

多数 NAS 的容器管理工具会在详情里显示退出状态和最近的日志末尾。想看完整记录,需要开启 SSH 登录,用命令行查看。系统级的内存回收只写在系统日志里,容器自己的日志看不到。

具体步骤

  1. 在管理界面找到容器状态,记下退出码。常见的是 137、143 和 1,不同程序含义不同,先记下来再查。
  2. 看容器日志最后几十行。程序自己崩掉通常会打印报错或者配置错误提示;日志戛然而止,往往是被外部强制终止。
  3. 开 SSH 登录 NAS,用 docker ps 加 -a 参数看所有容器的状态和退出码。
  4. 用 docker inspect 查这个容器的状态字段,里面有一项标记是否被内存不足终止,这是最直接的证据。
  5. 翻系统日志,搜内存不足相关的关键字,看有没有内核在相近时间点杀掉进程的记录。
  6. 用 docker stats 观察同类容器运行时的内存峰值,和 NAS 的可用内存对比,看余量够不够。
  7. 如果是程序报错,按日志提示改配置或环境变量,先在临时容器里试,别直接改生产容器。
  8. 结论落定再处理:内存问题就调限制或减少并发服务,程序问题就改配置或换版本。

几个坑

  • 看到 137 就认定内存不足。137 只说明进程被强制终止,手动停止、系统关机也会留下同样的码,必须用状态字段和系统日志互相印证。
  • 只看容器日志。被系统杀掉时程序来不及写日志,容器日志里什么都没有,容易被误判成程序无响应。
  • 日志轮转把证据冲掉。重启或者日志达到上限后旧记录会被覆盖,出问题后先备份日志再重启。
  • 重启策略掩盖问题。设成总是重启,容器会反复起来又倒下,看起来一直在运行,实际问题一次都没解决。
  • 只看容器限制不看整机。NAS 上还跑着备份、索引、转码,整机内存紧张时,即使单个容器没超限也会被波及。
  • 随手加交换空间。用存储做交换会拖慢整机,也可能加速存储磨损,先确认真的有必要。

怎么验证

临时把该容器的内存限制调高一点,再跑到同样的负载,看还会不会退出。不再退出,基本可以确认是内存问题;照样退出且日志里出现同样的报错,方向就转到程序本身。

同时用监控看整机内存曲线,退出前是否有明显爬升。曲线平稳却突然退出,内存回收的嫌疑就小很多。

常见问题

退出码 137 一定是内存不足吗

不一定。137 表示进程收到了强制终止信号,内存不足只是最常见的一种原因,手动停止、系统关机、管理工具重启都会留下同样的退出码。要看容器状态字段和系统日志里有没有内存回收的记录。

加了内存限制为什么还是被终止

限制是上限不是保障。整机内存不够时,系统仍可能挑占用大的进程回收。先看整机可用内存和同时运行的服务数量,再决定是减服务还是加内存。

怎么区分是系统杀进程还是容器自己退出

看时间点和日志形态:系统杀进程通常没有程序侧的收尾日志,记录只出现在系统日志里;程序自己退出往往留下报错堆栈。两边时间对得上,结论才可靠。

一句话总结:先用退出码、容器状态字段、系统日志三处互证,分清是内存被回收还是程序报错,再决定是调限制还是改配置,别一见 137 就加内存。