最新

AI 怎么用重排序让检索结果更准

知识库问答答偏,问题常在喂进去的材料不对。讲清重排序接在哪、候选数量和截断怎么定、延迟和切片几个坑,以及怎么用问题集验效果。

知识库问答答得不准,很多时候不是模型不行,而是喂给它的那几段材料本来就不对。检索先粗后精:先用向量或关键词捞一批候选,再用重排序模型按相关性重新排一遍,把最像答案的几条放到前面。

入口在哪

重排序不是模型自带的功能,而是检索环节里的一步,落点通常有两个。

一是向量库或检索服务的配置项。常见名字是「重排序」「精排」「Rerank」,有的做成开关,有的要求填一个模型名。

二是单独的重排序接口。在外面先调一次检索拿到候选,再把「问题 + 候选片段」逐条交给重排序接口打分,按分数取前几条,最后才拼进提示词。

各家叫法差别很大,在控制台里搜 rerank 或「重排」是最快的找法。

具体步骤

  1. 先量基线。准备十几道有明确答案的问题,每题记下正确片段在检索结果里排第几,这就是后面比较的尺子。
  2. 把候选数量调大。粗检索先取二十到五十条,宁可多捞,重排序的价值就在于从一堆里挑。
  3. 接上重排序。选支持中文的模型,把问题和每一条候选片段组成一对送进去,拿回一个相关性分数。
  4. 定截断位置。一般取前三到前五条拼进提示词,再多会稀释重点,也增加长度开销。
  5. 保留来源编号。拼提示词时给每条带上编号,模型回答时能指回具体来源,后面核查也方便。
  6. 用同一套问题再测一遍,和基线逐题对比。

候选数量、截断条数和模型要一起调。只换模型不动候选数量,经常看不出差别。

几个坑

  • 候选只捞了三条。前面已经没有正确答案,重排序再准也变不出来,先确认粗检索的召回没问题。
  • 把重排序分数当成置信度。这个分数只用来排序,不代表答案对错,别拿它当阈值直接过滤。
  • 延迟翻倍没算进去。每条候选都要过一次模型,二十条候选就是二十次推理,在线问答要留出超时和降级方案。
  • 模型和语种不匹配。英文语料上表现好的模型,换到中文长句和术语上可能反而不如原来的顺序,必须用你自己的问题集验。
  • 切片太长。一段几千字的片段塞进重排序,模型抓不住要点,先把切片压到几百字。
  • 只优化检索不优化提示词。前面排得再准,提示词里没要求「只依据材料回答」,模型照样会自己补。

怎么验证

先看排序有没有变好。同一批问题,记录正确片段进入前五的比例,以及它排到第一的比例,前后各跑一次,数字能说明问题。

再抽查十条。人工读一遍重排序之后的前三条,看是不是围绕问题在讲,而不是只在关键词上撞车。

还要看延迟。记录加了重排序之后的平均耗时和最长耗时,如果一条问题要等十几秒,就得减少候选数或者改成异步。

最后看端到端的回答质量。抽一批问题让模型作答,人工判断有没有引用到正确来源,这一步才是真正的验收。

常见问题

重排序能不能替代优化切片

不能。切片决定了材料里有没有答案,重排序只决定哪条排前面。切片切碎了、上下文断了,重排序救不回来。

关键词检索和向量检索谁先

两个都做,结果合并去重之后再统一重排,比只用一路更稳。专有名词、型号、编号这类,关键词检索往往更准。

没有现成的重排序接口怎么办

可以先用模型打分代替,把候选逐条交给它判断相关性,按分数排序。代价是慢和贵,适合离线批次,不适合实时问答。

一句话总结:粗检索负责多捞,重排序负责挑准,两件事分开做,问答的命中率才上得去。