最新

AI 怎么把两版提示词放在一起对比

改提示词最容易凭感觉,上线才发现某类输入全崩。这篇讲测试集怎么建、只改一个变量、去掉版本标记盲评,以及怎么防过拟合。

改提示词最容易犯的错,是凭感觉觉得新版更好,上线之后才发现某类输入全崩了。要把两版分出高下,需要固定的测试输入、明确的评分口径、以及只改一个变量的纪律。这篇讲这套对比怎么做,做一次能管很久。

入口在哪

  • 测试集存成本地表格文件,一行一条输入,二十条左右,覆盖正常输入、边界输入、明显不该回答的输入,都取自真实场景。
  • 评分口径写在另一张表里。能自动判定的规则放一列,比如字段是否齐全、格式是否合法;人工打分的维度另起几列。
  • 两版提示词各自存成独立文件,文件名带版本号和日期。改到第五版还叫旧名字,后面根本对不上账。
  • 跑对比的地方可以是对话窗口手动跑,也可以写脚本循环调用接口。超过二十条就该用脚本,手动跑容易漏条。

具体步骤

  1. 先定基线。用当前线上那版跑一遍测试集,把结果和通过率记下来。
  2. 只改一个变量。想改输出格式就别同时改角色设定,否则结果变好也不知道是谁的功劳。
  3. 固定模型和采样参数。温度、输出上限、是否流式,两轮必须完全一致。
  4. 把两版结果的版本标记去掉再评。看到新版两个字,判断就会偏。
  5. 逐条比对。重点看失败的那几条错在哪,而不是只数通过了几条。
  6. 算通过率,也看稳定性。连跑三次都通过,和勉强过两次,是两回事。
  7. 换十条没见过的新输入复测。这一步是防过拟合,很多改进只对测试集有效。

几个坑

  • 同时改多处。看似效率高,实际等于放弃了归因能力,出问题只能整版回退。
  • 样本太少。三条输入里过两条,和三十条里过二十条,可信度差得远。
  • 只看最终答案,不看中间格式。答案对但字段少一个,接进流程照样失败。
  • 拿极端输入当主要依据。真实流量里罕见的长尾不该主导版本决策,但也不能完全不测。
  • 测试集被反复调参调到过拟合。用过几轮的测试集要退役,另留一份只在最终确认时用。

怎么验证

  • 两版通过率的差距要大于单次波动的幅度。差三个点很可能只是随机性。
  • 把失败案例摊开看,两版失败的是不是同一批输入。如果新版把原来对的改错了,那是退化。
  • 让没参与改稿的人盲评几条。自己写的提示词,自己评容易偏心。
  • 上线后观察一周真实通过率,和测试集结论对不上,说明测试集不具代表性。

常见问题

没有标注数据怎么评

先从能自动判定的部分入手:格式是否合法、必填字段是否齐全、字数是否超限、是否包含禁止出现的内容。这几项不需要人工标注就能算通过率,通常也能筛掉大部分问题版本。

两版各有胜负怎么办

按场景拆开算,不要合成一个总分。一版擅长结构化输出,另一版擅长长文改写,那就按任务类型分别选用,而不是强行选一个全局最优。

多久重跑一次对比

提示词改动后必跑,模型升级后必跑,业务输入分布变化时也要跑。哪怕提示词一个字没改,换了模型版本,结果也可能整体漂移,这时候旧结论就不作数了。

一句话总结:固定测试集、只改一个变量、去掉版本标记再评,通过率和稳定性一起看,最后用新输入复测。