最新

AI 怎么自建小型评测集比较两个模型

换模型全凭感觉,上线后才发现某类任务集体翻车。用三十条真实任务搭一个小评测集,把两个模型的差距量化出来,也看清它们各自错在哪。

两个模型谁更适合自己的活,靠试几个问题判断不可靠:你随手问的那几条,未必是你日常真正要跑的那类任务。可行的办法很朴素,攒一小批真实任务,让两个模型跑同一份,按同一张评分表打分。

入口在哪

没有现成入口,评测集就落在你自己的表格里。一张表,四列起步:任务编号、输入内容、合格标准、得分。二十到五十条就够起步,再多手工评不动。

关键不在数量在来源:这些任务必须从你真实的工作里抽,比如上周实际要写的周报、要改的文案、要核对的数据。从公开题库里抄来的题,分数好看,但跟你手上的活没关系。

具体步骤

  1. 抽题。翻最近的聊天记录和工单,挑出二十到五十条真实任务,覆盖最常见的三到五类,别全是同一类。
  2. 每条写清合格标准。能机器判的就写成规则,比如必须包含哪几个字段、数字是否与原文一致;不能机器判的,写一到三条可判定的检查点,比如有没有漏掉第三条要求。
  3. 固定参数。两个模型用同一份系统提示、同一个温度、同一个最大长度。参数一改,比出来的就不是模型差异。
  4. 把同一批任务分别喂给两个模型,输出原样存进表里,一条一行,别手改。
  5. 盲评。把来源列先隐藏,只按合格标准打零分、一分、两分,打完再揭开。先看模型名,评分会不自觉偏向前者。
  6. 汇总。算总分,也分类算;再统计错误类型,是格式不对、事实出错,还是漏了要求。差距集中在某一类任务时,比总分更有参考价值。
  7. 判读。三十条样本上的总分差一两分,说明不了谁更好,要看错的那几条是不是同一类系统性问题。

几个坑

  • 用公开题库评,分数容易被训练数据污染抬高,跟自己任务上的表现对不上。
  • 一次只改一个变量。同时换模型又换提示词,最后分不清是哪个起了作用。
  • 只看总分。两个模型总分一样但错的地方完全不同,选型时这信息比总分重要。
  • 评分标准写成感觉类描述,比如写得不好、不够专业,两个人打分能差出一大截。每条都要落成能回答是或否的检查点。
  • 样本太少波动大,三五条碰巧全对就下结论;几百条又评不完,三十条是能兼顾的起点。
  • 模型有随机性,同一条跑两次结果可能不同。要么固定参数,要么每条跑两次取平均,别拿单次结果当定论。

怎么验证

三件事各验一遍。找人按同一张评分表把同一批输出再打一遍,两人分歧大的那几条,说明标准写得还不够清楚,先修标准再继续。隔一周用同一批任务重跑一次,结论如果翻转,说明之前的差距在噪声范围内。最后拿五条评测集之外的新任务试选中的模型,表现明显低于评测结论,就要怀疑评测集偏向了你熟悉的那类活。

常见问题

没有标准答案怎么打分

改用检查项。不问哪个答案更好,只问是否包含必需的字段、是否引用了原文里的内容、有没有凭空加数字。这类问题能给出是或否,两个人打出来的分才会一致。

评测集能放进提示词里吗

不要整批放。放进去等于把答案给了模型,测出来的分数虚高。最多挑一两条当示例,剩下的留作测试,并且每次都以测试集上的结果为准。

评测集多久重建一次

换模型、改提示词、业务方向变了,都该重跑一轮。旧的一组别删,留着做回归对比:新版本在旧任务上退步了没有,这比横向比两个模型更有用。

一句话总结:评测集的价值不在分数高低,而在把模糊的哪个模型更好,换成一张能复现、能对照、能看出错在哪的任务表。