最新

AI 接口返回限流错误怎么设置重试

脚本跑到一半成片报限流,加个等待又时好时坏。讲怎么区分错误类型、退避曲线怎么写、为什么全量重试会把流量放大几倍。

脚本跑到一半开始成片报错,返回里带一个限流字样,加了等待又时好时坏。这类问题多半不是配额用完,而是并发和重试策略互相顶着。这篇讲怎么把重试写对,以及哪些错误根本不该重试。

入口在哪

  • 返回码:限流通常是 429,响应头里可能带建议等待秒数,常见写法是 Retry-After。
  • SDK 参数:多数官方 SDK 有内置重试开关、最大重试次数和超时设置,默认值往往偏保守。
  • 网关层:前面若有反向代理或任务队列,重试也可能配在那一层,别两处同时开。
  • 控制台:用量或速率限制页面能看到当前档位和已用量,用来判断是真超限还是参数写错。

具体步骤

  1. 先给错误分类。限流、超时、服务端临时故障可以重试;参数错、鉴权失败、内容被拒,重试多少次结果都一样。
  2. 读响应里的建议等待时间,有就按它等,没有再用自己的退避曲线。
  3. 退避用指数加随机抖动。等待逐次翻倍,再叠一点随机量,避免所有请求同一秒一起回来二次冲击。
  4. 设最大重试次数和总耗时上限。常见三到五次就够,一直重试只是把故障拖长。
  5. 确认操作幂等。写数据、下单、发消息这类动作,重试前先查一次是否已成功,别重复提交。
  6. 削峰。把瞬时并发压到配额以下是正解,比单纯加等待有效得多。

几个坑

  • 全量重试会把流量放大几倍。一批请求同时失败又同时重试,等于自己造了一次流量尖峰,第二次更容易被打回。
  • 非幂等操作重试会造成重复数据。付款、发信、建单必须先去重,或者带上唯一请求号让服务端识别。
  • 把参数错误也纳入重试。这类错误重试一百次结果一样,只浪费额度还把日志刷满。
  • 只加等待不降并发。限流看的是单位时间请求数,等待之后并发峰值没变,很快又撞上。
  • 重试掩盖真实问题。持续限流说明配额或用法有问题,加日志比加次数有用。

怎么验证

  • 看日志里每次请求的重试次数分布,绝大多数应该是零次,重试集中在少数请求上才算正常。
  • 压测时统计限流返回的占比,调低并发后再测一次,看曲线有没有明显下降。
  • 抽查几条重试过的写操作,确认库里只有一条记录,没有产生重复。

常见问题

限流和服务端临时错误要分开处理吗

要。限流按建议时间等,临时错误可以短间隔重试,两类混在一起等待时间会失控。日志里也要分开打标签统计。

重试几次比较合适

三到五次是常见起点,配合总耗时上限。超过这个次数还没成功,多半是配额或配置问题,该报警而不是继续等。

批量任务怎么避免限流

把并发降到配额以内,按批提交并留间隔,失败的行单独排队重跑,不要把所有失败项立刻重新提交。

一句话总结:先分类错误再退避,写操作保证幂等,降并发比单纯加等待更能治限流。