最新

AI 怎么校验模型给出的 JSON 能不能解析

模型返回的 JSON 偶尔解析失败,问题常出在标点和转义上。这篇讲解析前后各做哪几层校验、失败时怎么有限次重试。

让模型输出 JSON 很常见,但真正能进流程的没那么多。少一个括号、多一个尾随逗号、把中文引号当英文引号,任何一处都会让解析器直接抛错。这篇讲一条稳一点的处理链:先定契约,再解析,再验结构,失败有限次回填重试。

入口在哪

  • 调用侧:在请求里明确要求只输出 JSON,并给出字段清单和示例结构,不给解释性文字的位置。
  • 代码侧:解析用语言自带的 JSON 解析器,不要用正则去抠字段,正则处理不了嵌套和转义。
  • 校验侧:解析成功后还要跑一遍结构校验,字段名、类型、必填、枚举值逐项对,工具可以用现成的 schema 校验库。
  • 对话侧:把解析报错原文贴回去让它自己改,比你自己描述哪里错了有效得多。

具体步骤

  1. 先写清契约:有哪些字段、各自什么类型、哪些必填、哪些只能取固定几个值。这段契约同时给模型和校验代码用。
  2. 拿到输出先去掉外层的代码围栏和前后多余文字,只留最外层的一对花括号。
  3. 交给解析器判断能否解析,捕获异常并记下报错位置,别在这一步做任何修补。
  4. 解析通过后跑结构校验,缺字段、类型不符、枚举越界都算失败,和解析失败一样对待。
  5. 失败时把原始输出和报错一起回填,要求只返回修正后的完整 JSON,不要解释。
  6. 重试设上限,两到三次足够。仍失败就走兜底,比如落库原始文本并标记待人工处理。

几个坑

  • 中文全角引号、全角括号看着像是对的,解析器一律不认。批量替换前先确认没把正常内容也换掉。
  • 数字被写成带引号的字符串,解析能过但类型校验过不去,入库后排序和计算全乱。
  • 代码围栏的处理只去掉第一层,模型有时会在里面再套一层说明文字。
  • 不给重试上限,一条脏数据能把配额和时间全吃掉。

怎么验证

  • 拿二三十条真实输入跑一遍,分别统计一次解析成功率、一次结构校验通过率、加上重试后的最终成功率。
  • 把失败样本按错误类型分组统计,尾随逗号、全角标点、字段缺失各占多少,据此决定是改提示词还是加清洗。
  • 同一批输入隔天重跑,成功率波动超过几个百分点就说明输出还不稳,契约得再收紧。
  • 再把失败样本喂回去让它自己修,统计修复成功率。低于一半说明提示词里的契约写得不够具体,先改契约再加重试。

常见问题

看着像 JSON 为什么解析不了

最常见的是尾随逗号、键名没加引号、字符串里出现未转义的换行,以及全角标点。把报错位置那一行单独拎出来看,基本一眼能认出来是哪一种。

能不能用宽容一点的解析器先把数据接进来

可以先宽容解析避免整批失败,但别把宽容当契约。入库前仍要跑严格的结构校验,否则脏数据会一路传下去,越往后越难查。

流式输出时怎么校验

边收边解析基本行不通,半截 JSON 一定解析失败。要么等完整结束再解析,要么改成一行一个对象的格式,按行切分逐行校验。

一句话总结:契约写在前面,解析交给解析器,结构校验紧跟其后,失败限次回填重试,兜底落原始文本。