最新

AI 怎么用向量相似度找出重复文案

几百条标题和话术里找意思重复的句子,靠字面比对找不干净。讲怎么取向量、阈值定在哪、为什么反义句会被误配成一对。

表格里几百条标题、几千条客服话术,靠眼睛找重复找不干净,换个说法、调个顺序,字面就完全不一样。用向量算相似度能把意思一样的挑出来,但阈值定错会把反义句也配成一对。这篇讲怎么落地。

入口在哪

  • 嵌入接口:主流模型平台都提供把文本转成向量的接口,一次可以传一批文本,返回一串小数。
  • 本地工具:向量库、表格插件、脚本里的相似度函数都能算,不必自己训模型。
  • 阈值参数:现成工具的默认阈值往往偏高或偏低,要按自己的语料重新调。
  • 结果表:算完一般得到两条文本加一个相似度分数,按分数倒序看最省时间。

具体步骤

  1. 先清洗。去掉多余空格、统一全半角、去掉表情和行首编号,同一句话的两种排版不该被算成两条不同文本。
  2. 决定切分粒度。标题按整条算,长文按句子或段落切。切太细会丢语义,切太粗会把不相关内容算成相似。
  3. 批量取向量,把结果和原文编号一起存下来。只存向量不存原文,后面就追溯不回去了。
  4. 算两两相似度。条数上千时先按关键词粗筛,再做向量比对,能省掉大量计算。
  5. 按阈值分组,从高分往低分看。通用起点可以放在 0.85 附近,再按实际语料上下调。
  6. 人工确认后合并,保留原记录。合并前先导出原表,别在唯一一份数据上直接删。

几个坑

  • 相似不等于重复。反义句的向量往往也很近,可以退款和不能退款可能被判成一对,必须人工过一遍。
  • 短文本向量不稳。五六个字的词条区分度低,这类更适合先做精确去重,再上向量查漏。
  • 阈值不能跨语料复用。换成英文、换成更长的段落,同一个阈值效果完全不同。
  • 合并是破坏性操作。删掉的行如果没有备份,原始来源就找不回来,先导出再动手。

怎么验证

  • 随机抽五十对,人工标重复与否,算一次准确率。低于八成先调阈值,不要直接全量合并。
  • 和精确去重结果对比,看向量方法多找出了哪些,多出来的部分逐条看。
  • 把阈值、模型名、语料版本记在表头,下次换语料时才有参照。

常见问题

向量相似度和文本相似度有什么区别

文本相似度比字面,改一个字分数就掉;向量比语义,换说法还能对上。两者互补,稳的做法是先文本去重,再用向量查漏。

多少条数据才值得上向量

几十条靠眼睛更快,几百条以上开始划算,上千条基本必须用。条数少的时候,调阈值的成本比人工看还高。

中文需要换专门的模型吗

建议用对中文支持好的嵌入模型,纯英文模型对中文近义词的区分明显更差。换模型后阈值要重新标定一次。

一句话总结:先精确去重再用向量查漏,阈值从高点往下试,合并前一定留原表备份。