AI 接口返回限流错误怎么设置重试
脚本跑到一半成片报限流,加个等待又时好时坏。讲怎么区分错误类型、退避曲线怎么写、为什么全量重试会把流量放大几倍。
脚本跑到一半开始成片报错,返回里带一个限流字样,加了等待又时好时坏。这类问题多半不是配额用完,而是并发和重试策略互相顶着。这篇讲怎么把重试写对,以及哪些错误根本不该重试。
入口在哪
- 返回码:限流通常是 429,响应头里可能带建议等待秒数,常见写法是 Retry-After。
- SDK 参数:多数官方 SDK 有内置重试开关、最大重试次数和超时设置,默认值往往偏保守。
- 网关层:前面若有反向代理或任务队列,重试也可能配在那一层,别两处同时开。
- 控制台:用量或速率限制页面能看到当前档位和已用量,用来判断是真超限还是参数写错。
具体步骤
- 先给错误分类。限流、超时、服务端临时故障可以重试;参数错、鉴权失败、内容被拒,重试多少次结果都一样。
- 读响应里的建议等待时间,有就按它等,没有再用自己的退避曲线。
- 退避用指数加随机抖动。等待逐次翻倍,再叠一点随机量,避免所有请求同一秒一起回来二次冲击。
- 设最大重试次数和总耗时上限。常见三到五次就够,一直重试只是把故障拖长。
- 确认操作幂等。写数据、下单、发消息这类动作,重试前先查一次是否已成功,别重复提交。
- 削峰。把瞬时并发压到配额以下是正解,比单纯加等待有效得多。
几个坑
- 全量重试会把流量放大几倍。一批请求同时失败又同时重试,等于自己造了一次流量尖峰,第二次更容易被打回。
- 非幂等操作重试会造成重复数据。付款、发信、建单必须先去重,或者带上唯一请求号让服务端识别。
- 把参数错误也纳入重试。这类错误重试一百次结果一样,只浪费额度还把日志刷满。
- 只加等待不降并发。限流看的是单位时间请求数,等待之后并发峰值没变,很快又撞上。
- 重试掩盖真实问题。持续限流说明配额或用法有问题,加日志比加次数有用。
怎么验证
- 看日志里每次请求的重试次数分布,绝大多数应该是零次,重试集中在少数请求上才算正常。
- 压测时统计限流返回的占比,调低并发后再测一次,看曲线有没有明显下降。
- 抽查几条重试过的写操作,确认库里只有一条记录,没有产生重复。
常见问题
限流和服务端临时错误要分开处理吗
要。限流按建议时间等,临时错误可以短间隔重试,两类混在一起等待时间会失控。日志里也要分开打标签统计。
重试几次比较合适
三到五次是常见起点,配合总耗时上限。超过这个次数还没成功,多半是配额或配置问题,该报警而不是继续等。
批量任务怎么避免限流
把并发降到配额以内,按批提交并留间隔,失败的行单独排队重跑,不要把所有失败项立刻重新提交。
一句话总结:先分类错误再退避,写操作保证幂等,降并发比单纯加等待更能治限流。