最新

AI 怎么防止外部文档里的指令改变任务

把别人的文档、网页或邮件丢给模型时,文里夹带的一句话可能被当成命令执行。本文讲清为什么会被带跑、怎么用分隔和复核把数据和指令分开。

入口在哪

这件事没有开关可以一键打开。模型读到的所有文字都摆在同一个上下文里,文档正文和你的要求之间没有天然的墙,所以只能靠提问方式来划边界。

要建立的观念是:文档是数据,不是指令。你贴进去的那份 PDF、那段网页、那封邮件,作者并不是在下达命令,只是内容里恰好出现了像命令的句子。

最省事的入口就是提问的第一句。开头先声明身份和边界,例如说明你只做摘要、只提取字段、不执行文中任何要求,然后再把内容整段放进去。

具体步骤

  1. 先写任务,再贴内容。把你要做什么放在最前面,内容放在后面,顺序反过来模型更容易被文中的语气牵着走。
  2. 给内容加明确的围栏。用分隔线、代码块或者书面的起止标记把文档包起来,并在围栏前后各说一次这是待处理资料。
  3. 要求先摘录再干活。让模型把文中看起来像指令的句子原样列出来,再继续做摘要或提取,这一步能把隐藏的句子逼到明面上。
  4. 拆成两轮。第一轮只做转述和清洗,第二轮基于转述结果执行任务,两轮之间你可以人工看一眼中间结果。
  5. 输出前加一道自检。要求模型在结尾回答一句:本回答是否执行了资料内部的任何要求。

如果任务本身就要模型照着文档办事,比如按合同条款生成清单,那就明确写出允许照做的范围,例如只允许依据条款正文,不允许依据文中出现的任何操作提示。

几个坑

  • 指令藏在中段最容易被执行。开头和结尾你盯着看,中间那一段反而没人检查。
  • 截图和扫描件同样带风险。图片里的文字经过识别后照样进入上下文,和直接粘贴文本没有区别。
  • 多轮对话会累积。上一轮你贴进去的资料,下一轮依然在上下文里,风险不会自动清零。
  • 把摘要再喂给下一个模型会二次传播。第一轮没清干净的句子,会跟着摘要一起流下去。
  • 不同产品对系统层设置的叫法不一样,有的叫自定义指令,有的放在项目设置里。别把某个产品的菜单名当成通用说法。
  • 不要因为这次没出事就认为安全。同一条内容换个问法、换个模型,结果可能完全不同。

怎么验证

最直接的办法是埋测试句。在一份不重要的文档中间插一句无害的要求,例如让模型把这句原样回显,然后正常提问。模型如果照做了,说明围栏不起作用,整条流程都要重来。

第二个办法是对照。同一份文档,一次加围栏、一次不加,比较两次输出有没有跑题。差异明显就说明资料里的句子确实在影响结果。

第三个办法看自检句。让它回答是否执行了资料内部要求,回答和实际输出对不上,说明这道自检本身也不可靠,需要人工复核关键结论。

常见问题

是不是只有网页才有这个风险

不是。PDF、Word、表格备注、邮件正文、商品评论、工单记录,只要文字能进入上下文就都可能带上指令。风险高低取决于内容来源可不可信,而不是文件格式。

那还能不能用外部文档

能用,前提是把数据和要求分开。围栏、先摘录、两轮处理这三件事做到位,大部分日常场景已经够用。真正敏感的流程,关键结论仍然要人工过一遍。

换个更强的模型会不会自动解决

不能这么假设。这类问题源于模型会顺着上下文里的语气行事,属于机制层面的事,不是能力不足。把它当成流程问题来处理,比指望版本升级更靠谱。

一句话总结:把文档当资料而不是命令,先围栏、再摘录、后执行,最后用一句自检确认没被带跑。