AI 怎么对比两个模型对同一道题的回答
同一个问题两个模型答得不一样,凭感觉选不可靠。这篇讲怎么固定输入、匿名化对比、按维度打分,留下可复核的记录。
换了模型或者调了参数之后,最常问的一句话是到底哪个更好。凭印象判断很容易被措辞和长度带偏:写得长的看起来更认真,语气肯定的看起来更可信。要让对比有结论,得把流程做得像个小实验。
入口在哪
- 手动对比:同一份提示词分别在两个对话里各跑一遍,把两边回答复制到一张表里逐行看。
- 让模型当评委:把两段回答贴进第三个对话,要求按维度打分并引用原句作为依据。
- 接口对比:同一批请求分别发到两个接入点,参数保持一致,把返回结果落到同一个文件里。
- 要长期看趋势的,把题集、提示词、评分表固定下来做成一份可重复执行的清单。
具体步骤
- 先定维度并写死,四五个就够,比如准确性、完整性、是否守住格式、能不能直接照着做。
- 每个维度写清一到五分的判据,尤其是三分和四分的界线,否则每次打分尺度都在漂。
- 固定输入:同一提示词、同一附件、同一轮数,逐字比对确认没有手误改动。
- 匿名化再比,把回答标成甲、乙,换到下一题时把顺序对调,抵消位置带来的偏好。
- 要求评委每个维度给出依据句,只给分数不给原句的一律退回重评。
- 汇总成表,先看总分差,再看哪个维度差得最多,差得少的题直接判平手。
几个坑
- 让同一个模型评自己的输出,它明显偏向自己的行文风格,评委要换成第三方或人工。
- 只跑一道题就下结论。题目难度和领域影响极大,至少二十道覆盖不同题型。
- 把长度和排版当质量。啰嗦但正确的回答经常赢过简洁正确的回答。
- 两份回答的格式要求不一样却放一起比,一个给了表格一个给了段落,分数没有意义。
怎么验证
- 用一批有标准答案的题,两个模型平均分差小于一分就算平手,别硬排名次。
- 把同一批评测隔一天重新跑一次,看排名是否稳定。翻转的题要单独看,通常是评分判据没写清。
- 随机抽五道题人工盲评一遍,和模型评委的结论比对,一致率低于七成就要重写判据。
常见问题
两个模型分数很接近,怎么选
先看你的实际任务更在意哪个维度,再看得分波动。差在一分以内时,选调用成本低、延迟稳、出错时行为可预期的那个,比选平均分高零点几的划算。
能不能只让模型自己说哪个回答更好
可以当参考,但不能当结论。它对措辞和篇幅敏感,也容易顺着提问里的暗示走。至少要把顺序对调再问一次,两次结论不一致就说明这个判断不可靠。
换了新版本还要重跑吗
要。模型版本更新后答题风格和长度都会变,旧的评分记录不能直接沿用。题集留着,重新跑一遍再比,别拿半年前的分数和新版本对。
一句话总结:固定题集和判据,匿名化并对调顺序,逐维度要依据句,分差小于一分就判平手。