最新

AI 怎么让模型只从给定选项里选值

模型总爱自己发明分类,从提示词到输出校验三层锁住可选值,附兜底选项和抽查方法。

让模型给数据打标签,最烦的是它发明新分类。明明给了五个选项,它回你第六个,理由还写得挺像回事。靠反复强调不要自创解决不了问题,可靠的做法是从三个层面把取值锁死:提示词里列清单、输出格式上限制取值、拿到结果再做值域校验。

入口在哪

  • 提示词层:在系统提示里列出选项清单,并明确规定该字段只能取清单内的值。
  • 接口层:支持结构化输出的服务一般有枚举字段,取值是一份允许列表,不同版本名称略有差别,在接口文档里搜枚举最快。
  • 校验层:拿到结果后用一个几十行的检查脚本,把不在清单里的值挑出来单独成表。

具体步骤

  1. 把选项写成带编号的清单,每项后面跟一句判定说明。说明要写边界,比如同一订单的重复投诉算一条,不写边界,模型只能凭字面猜。
  2. 规定输出结构:一个字段存选项原文,另一个字段存理由。理由字段不只是给你复核,它还能明显提高选择的稳定性。
  3. 加一个兜底选项,比如无法判断,并要求模型在理由里说明缺什么信息。没有兜底,遇到模糊样本它就会硬塞一个最像的。
  4. 先跑二十条样本,统计落到兜底的比例。比例过高说明判定说明写得太严,接近零说明它没在认真分辨。
  5. 全量跑完后做值域检查,把清单外的值导出来逐条看,判断是选项不够还是模型理解偏了,这两种情况改法完全不同。
  6. 选项有调整时把旧结果重跑一遍。两个版本的结果混在一起做统计,比例会失真而且很难发现。

几个坑

  • 空格和全半角。返回「已解决」和「已 解决」会被值域检查判成两个值,校验前先统一去空格、转半角。
  • 同义词替换。要求填退款,它填退货退款。这属于清单外,必须报错,不要自动映射;映射错一次,整张统计表都得重做。
  • 选项超过十个时准确率明显下降。要么分层判,先判大类再判小类,要么拆成多次提问,每次只问一个维度。
  • 兜底选项被滥用。兜底比例超过两成,问题通常不在提示词,而在输入字段不够,这时该补信息而不是继续改措辞。

怎么验证

全量跑完后每个选项抽五条人工确认,重点看相邻选项之间有没有系统性错判,也就是本该判甲的总被判成乙。再统计兜底比例和清单外比例,两个都低于一成算正常。

常见问题

模型坚持返回不存在的选项怎么办?

先看它给的理由,多数是选项定义彼此重叠。把重叠处划清界限、写明谁优先,比在提示词里堆感叹号有效得多。

用结构化输出能不能彻底避免?

能大幅降低但不能完全避免。结构化输出保证格式合法,不保证语义正确,值域校验和抽样复核这两步还是要有。

多标签场景怎么处理?

多标签不适合单选枚举。改成数组字段、限制每一项的取值,并且给数量上限,比如最多三个。没有上限时模型倾向多打,标出来的分布会整体偏高。

一句话总结:选项写清边界、格式限制取值、结果再做值域校验,三层都到位才不会冒出第六个分类。