AI 怎么核查回答里的事实是不是编造的
答案读起来很顺,里面的数字和条款却可能是编的。讲清怎么把回答拆成可查的断言、按什么顺序核,以及哪几种验证办法其实没用。
模型给出的答案读起来很顺,格式也对,但里面那个数字、那条法规、那篇文献可能是它顺口编的。这类错误最难发现,因为它不会报错,语气还很肯定。核查的办法不是问它「你确定吗」,而是把答案拆成一条条能单独验证的说法。
入口在哪
核查的入口不在模型里,而在你手上:先把它当成一份待审的稿子,而不是一份结论。多数对话工具都有联网搜索或者上传文件的开关,需要它引用外部资料时先打开;没有联网能力时,它只能靠训练时见过的内容作答,遇到具体数字和时效性信息就更容易编。
另一个入口是让它自己标注来源。提问时要求每条结论后面写出处,找不到出处的直接说不确定,模型对有没有把握往往会有不同表现,这比事后追问有效。
具体步骤
- 把答案拆成断言。一句话里通常混着好几条事实,比如某标准在某年修订、要求不低于某个数值,这里就有时间、主体、数值三条,逐条抄到表里。
- 给每条断言分类:常识和概念解释、可查的具体事实、观点和建议。第一类风险低,第二类必须核,第三类看场景。
- 只对第二类做检索。拿断言里的关键词去搜,不要复制模型的整句去搜,整句搜不到不代表它错,关键词能搜到才说明有据可查。
- 优先找一手来源。标准看发布机构,参数看厂商官方页面,法规看官方公报。二手文章互相抄的情况很常见,几篇文章说法一致不等于正确。
- 对不上就标出来。核查结果分成已证实、未找到、互相矛盾三档,未找到的不要直接改成自己猜的值,要么删掉,要么改成不带具体数字的表述。
几个坑
- 追问「你确定吗」当作核查。模型被质疑后经常改口,但改口不一定是真相,有时只是顺着语气换了个说法。
- 让另一个模型来判断。两个模型训练方式相似,容易一起错,最多算线索,不能当证据。
- 点开它给的链接就当验证过了。链接可能是拼出来的,域名像但页面不存在,或者内容跟它说的不是一回事,必须看到原文。
- 把流畅当成可靠。写得越工整有条理,越容易让人跳过核对,这恰恰最危险。
- 用一个来源验证另一个来源。两篇如果本来就是同一篇的转载,互相印证等于没验证。
怎么验证
最省事的验证是把核查结果落成一张三列表:断言、来源、结论。标成已证实的条目,抽查两三条打开原文对一遍;未找到的条目,回到正文确认已经删掉或者改成了模糊表述;互相矛盾的条目,保留最权威的来源并写明口径差异。最后通读一遍,确认没有哪一句具体事实是只有模型的说法而没有出处。
常见问题
模型为什么能把不存在的东西说得那么肯定
它生成的是最像样的下一段文字,不是从数据库里查出来的记录。当训练内容里没有对应信息时,它仍然会按语言的规律往下写,于是数字、书名、条款就可能是拼出来的。语气肯定程度和正确率没有关系。
哪类内容最容易编
越具体越容易出问题:精确到小数的数据、年份和版本号、人名和机构名、法条编号、论文标题和作者、产品参数和价格。概念解释和操作思路这类内容出错概率低得多,因为可以自由发挥的空间小。
开了联网搜索是不是就不用核了
不是。联网只是给它多了能查的资料,它仍然可能读错页面、把不同来源混在一起,或者引用一个打不开的链接。联网之后要核的重点,从有没有这回事变成了它引的那段原文是不是这么写的。
一句话总结:核查的关键是把流畅的答案拆成一条条能单独查证的断言,数字、日期、名称、条款逐条找一手来源,找不到的就删掉,而不是再问它一遍。