最新

AI 怎么给知识库文档做切片

知识库答得不准,问题常常不在模型而在切片。这篇讲长度和重叠怎么定、按什么边界切、表格代码怎么处理,切完怎么验收召回。

把文档丢进知识库,回答质量差,问题常常不在模型,而在切片。切得太碎,片段里全是代词和半句话;切得太整,检索命中一大段无关内容。这篇讲切片参数怎么定、按什么边界切、切完怎么验证召回。

入口在哪

  • 用现成的知识库工具时,在文档处理或分段设置里,通常有成对的两个值:每段长度和相邻段重叠长度。不同版本入口名称略有差别。
  • 自己写代码时对应的是分块函数里的两个同名参数,按字符还是按词元计,两种口径差别很大,务必看清单位。
  • 有的工具把长度做成预设档位,不给填具体数字。这种情况优先选能按标题层级切的那档。
  • 切完还有一步向量化,模型的输入长度上限会反过来限制单段能有多长。

具体步骤

  1. 先清洗。去掉页眉页脚、目录页、导航文字、重复的版权声明。这些内容会污染检索,又不携带答案。
  2. 按标题层级切大块。一级标题切一章,二级标题切一节,这样每个片段天然带一个语义边界。
  3. 超长的节再往下二分,优先在段落之间切,其次在句号处切,避免从句子中间断开。
  4. 定长度量级:中文正文常见落在每段三百到八百字,重叠取一成到一成五。问答类文档可以更短,叙述类文档可以更长。
  5. 给每段补元数据:来源文件名、章节标题、页码或段落号。回答要给出处时,靠的就是这些字段。
  6. 表格和代码单独整块保留,别跟着正文一起按字数切,切碎之后既读不懂也检索不到。
  7. 建完索引立刻测,别等用户提问才发现问题。

几个坑

  • 切得太碎。片段里出现「它」「该功能」这类指代却没有前文,检索命中也没法回答。
  • 完全不留重叠。正好切断的那句话两边都不完整,关键信息落进缝里。
  • 只看字数不看语义。同一段里既有操作步骤又有注意事项,检索命中后模型容易混着答。
  • 丢掉来源信息。后面想补引用只能重做一遍全流程,成本比一开始多存几个字段高得多。
  • 把切片当成一次性设置。文档更新后要重切重建索引,否则新旧片段混在一起,答案会自相矛盾。

怎么验证

  • 准备十个你确实知道答案的问题,逐条问。看命中的片段里是否包含答案句,而不是看最终回答像不像。
  • 统计命中片段的长度分布。大量片段只有一两行,说明切太碎;经常整章命中,说明切太粗。
  • 抽查片段开头。理想的开头是一句能独立读懂的话,而不是「如下图所示」。
  • 故意问一个文档里没有的问题。好的切片配合检索应该答不上来,而不是拼凑出看似合理的答案。

常见问题

切片长度有没有通用最优值

没有。它取决于文档密度和问题粒度。问题细到参数名,片段就该短;问题是整体方案,片段就该长。可行的办法是先按三百到八百字起步,用真实问题测,再往一个方向调一档。

重叠设多少合适

常见是一成到一成五。重叠太少起不到缝合作用,太多则索引膨胀、检索时同一段内容反复命中,回答会重复啰嗦。长句多的文档取上限,短句多的取下限。

PDF 切出来总是乱序

多半是先转文本这一步没做好。双栏排版、页眉页脚、表格跨页都会让阅读顺序错乱。先把 PDF 转成结构清晰的文本再切,比在切片参数上折腾有效得多。

一句话总结:切片先按标题分边界、再按段落控长度,重叠留一成,切完用十个真实问题验收。