AI 怎么把客户名单里的重复记录合并
同一批客户在几个渠道各留了一份,姓名写法还不一样。这篇讲怎么定身份键、怎么裁决冲突字段,合并后还能回退。
客户名单很少是干净的。销售表里叫张三,客服表里写张先生,手机号一个带横线一个带空格,公司名一个有后缀一个没有。人眼能认出是同一个人,程序按等值比对认不出。这类活模型擅长先给判断规则,但最终裁决必须留给人。
入口在哪
- 把名单导出成 CSV 或纯文本,作为附件传进对话,让它先看列结构再谈去重。
- 不想上传原始数据时,先做字段脱敏只留身份键,或者抽几十行样本让它判断重复形态。
- 表格软件里可以用辅助列先把格式统一,再把候选重复组贴给模型判断。
- 合并动作在表格里做,模型只负责给分组和理由,别让它直接改源文件。
具体步骤
- 先分清身份键和属性列。手机号、邮箱、公司名加联系人姓名通常是身份键,备注和成交金额是属性。
- 让它先做形态诊断:抽样二三十行,指出可能造成重复的写法差异,比如全角半角、空格、后缀、简繁体和别名。
- 定归并顺序并写死:先规范化再去比,规范化只做确定无损的处理,删字符这种有风险的要单列。
- 让它输出主记录、被合并记录、冲突字段三个部分,每条都带原始行号,方便回溯。
- 冲突字段逐项人工裁决。两个手机号都有效就都留,别让模型替你决定丢哪一个。
- 回填时保留原始行和一份合并日志,写明哪几行并到了哪一行,改错了能拆回来。
几个坑
- 只按姓名去重,同名不同人被合掉,订单和售后记录全挂错人。姓名只能当辅助键。
- 规范化时把区号、分机、号码里的有效位删掉,本来不同的两个号变成相同。
- 直接覆盖源文件,合并完发现错了一组却无从恢复。先另存副本再动手。
- 模型在输出里编造不存在的行号或姓名,尤其是样本给得少的时候,逐条对回原表才能发现。
怎么验证
- 抽三十组被判定重复的记录人工看一遍,重点看同姓名的那些组,误合并的代价最高。
- 校验总数:合并前总行数减去合并后总行数应等于被合并的记录条数,对不上说明有行被吞了。
- 用手机号或邮箱做一次唯一性检查,看还有没有多行共用同一个号码。
- 合并前后各跑一次格式体检,号码位数、邮箱写法不合规的条数不应该上升,上升说明规范化把好数据改坏了。
常见问题
手机号缺失的记录怎么判断
退到次级键组合:公司名加联系人姓名加地址关键词。这类记录判重置信度低,建议单独列成待人工确认组,不要和确定重复的混在一起批量合并。
模型给的分组每次都不一样怎么办
说明规则没写死。把规范化步骤和比对顺序写成明确条目,再让它严格按条目执行,稳定性会明显改善。
合并后客户的历史订单会丢吗
只要保留原始行和合并日志就不会。订单这类关联数据建议先不动,等客户主档确认干净之后再统一做关联迁移。
一句话总结:身份键优先用号码和邮箱,姓名只做辅助,冲突字段人工裁决,先另存副本并留合并日志。