最新

AI 怎么让批量任务中断后从上次的位置接着跑

批量任务跑到一半断了不用从头再来,靠稳定编号、逐条落盘、启动查清单三步就能续跑。

几百上千条文本交给模型处理,跑到一半断网、限流、程序崩了,从头再跑既费时间又费额度。断点续跑不是复杂功能,核心就三句话:每条任务有稳定的唯一编号、每处理完一条立刻落盘、启动时先读已完成清单跳过。

入口在哪

  • 脚本层:入口就是那个批处理循环,把它改造成先查清单再处理。
  • 存储层:一个结果文件加一个已完成清单,两者放在固定路径,不要放临时目录。
  • 接口层:请求里带业务编号作为幂等键,方便事后对账和去重。

具体步骤

  1. 给每条任务生成稳定编号,用业务主键,不要用列表下标。中间插入或删除一行,下标全部错位。
  2. 每处理完一条立刻追加写入结果文件,一行一条记录。不要攒到最后统一写,崩溃时内存里的全丢。
  3. 写入用追加模式并带换行,写完立即刷盘。追加写比整体重写安全,中途崩溃最多丢最后半行。
  4. 启动时先读已完成清单,把所有编号收进一个集合,处理前跳过已存在的编号。
  5. 失败单独记一个文件,带错误类型和重试次数。成功和失败混在一起,续跑时会把真正失败的跳过。
  6. 每轮结束打印三个数:总数、已完成、失败。用它们确认这轮是接着跑而不是重跑。

几个坑

  • 结果文件末尾写了半行。崩溃刚好发生在写入时就会出现,启动前先做一次校验,把无法解析的最后一行截掉。
  • 用下标当编号。删掉一条数据后整个对应关系错位,续跑结果会张冠李戴,而且这类错误在结果里看不出来。
  • 多进程同时追加同一个文件。内容会交错,行都拼坏了。要么单进程,要么每个进程写自己的文件,最后合并。
  • 把限流当成永久失败。限流应当重试,记成失败后续跑就会跳过这部分,最终结果缺一块但不会报错。

怎么验证

人为中断一次:跑到一半直接终止进程,重新启动,看日志里跳过的条数是否等于已完成条数;跑完再检查结果总条数是否等于任务总数,且没有重复编号。这三项对得上,续跑就是可靠的。

常见问题

结果文件很大时读全量会不会很慢?

只看编号列会快很多。更省事的做法是把已完成编号单独维护成一个精简清单,结果文件只追加不改,启动时只读精简清单。

想让失败的条目自动重跑怎么办?

加一个轮次参数,第二轮只把失败文件当输入,最多跑两到三轮。超过三轮还在失败,说明不是临时故障,要人工看具体报错。

怎么避免重复计费?

关键是先落盘再继续,以及用业务编号而不是位置。另外可以在请求里带幂等键,让服务端识别重复请求,双保险。

一句话总结:稳定编号加逐条落盘再加启动查清单,任务断了也能从断点接着跑,不浪费一次请求。