AI 怎么让模型只引用文档里有的内容
给了资料还会编,是因为你只说了根据资料回答。加上逐句出处、检索阈值和反向测试,编造才收得住。
把制度文件、产品手册丢给模型做问答,最怕它答得流畅却查无此句。资料里没写的内容,它会用自己的常识补上,而且补得很像。要让答案落在文档里,得在提示、检索和验收三处同时下手。
入口在哪
- 对话产品的附件或项目文件功能,上传后可以要求它仅依据这些文件回答。
- 知识库类工具在检索设置里有相似度阈值和返回条数,这两个参数决定了它能不能看到相关内容。
- 带引用标注的产品会在答案旁标出文件名或段落编号,点开能定位回原文。
- 接口调用则要在提示里写清规则,并自己实现检索与来源回填。
具体步骤
- 提示里写死三件事:只用提供的资料、资料里没有就明确说没有、每个结论后面标注来源段落。
- 要求引用到最小单位。不要只写来自某个文件,要写到第几节或段落开头几个字,方便回查。
- 提问时去掉预设。别问是不是因为某个原因,改成请列出文档中提到的原因,避免它顺着你的话答。
- 给资料切片时保留标题和页码。切片只剩正文,引用就没法核对,出了问题也定位不到。
- 设置检索阈值。相似度低于阈值时直接回未找到,不要让它拿不相关的片段硬凑。
- 答案出来后抽几条引用回原文逐句核对,这是唯一可靠的验收方式。
几个坑
- 引用了文件但段落里没这句话。它会把几处片段拼成一句通顺的结论,看起来有出处,实际是缝合。
- 不许编这句要求本身会被忽略。多轮对话里更容易失效,关键问答要放单轮。
- 换个问法答案就变,说明它在猜。同一个问题用两种问法问两遍,答案不一致就是信号。
- 资料是旧版会答旧结论。文档更新后要重建索引,否则它引用的还是上一版内容。
怎么验证
- 抽五条引用,按标注的位置回原文找,看原句是否真的支持这个结论。
- 故意问一个资料里完全没有的问题,看它是否老实说没有。答得越流畅越要警惕。
- 把某一段资料临时删掉再问相关问题,答案如果没变,说明它没在用资料。
常见问题
为什么说了只用资料还是会编
因为模型的默认行为是给出有用回答,缺信息时会用训练里的常识填补。提示只是降低概率,真正管用的是把没检索到的情况直接拦在模型之外。
引用编号对不上原文
多半是切片时丢了标题和页码,或者检索返回的顺序被重排。重建索引时保留原始位置信息,并要求引用段落开头几个字,而不是只给编号。
要不要把整份资料都塞进去
文档不长可以,长文档不建议。整份塞进去会稀释重点,也更容易被无关段落带偏。按问题检索相关片段,比一次性全给更准。
一句话总结:规则写死、引用指到段落、没检索到就拦住,再用反向提问验证它有没有真读。