AI 怎么给测试环境造一批假数据
上线前要压测、要演示,真实数据不能导出。这篇讲怎么把表结构和分布要求说清、先看样例再出全量,以及怎么验收这批假数据。
新功能上线前要压测、要演示、要给同事一套能点的数据,真实数据不能导出,手搓又太慢。让模型按表结构批量生成是最省事的路径,但生成出来的数据要能过约束、能覆盖边界、还不能带真实个人信息。这篇讲怎么把需求说清楚、怎么验收。
入口在哪
- 不需要特定产品,任意支持长输出的对话就能做,规模大了再改成脚本调接口批量生成。
- 表结构从数据库客户端的建表语句或结构导出功能里拿。字段名、类型、长度、是否可空、枚举值、唯一约束、外键关系,一样都不能少。
- 样例数据从线上记录脱敏后取三条,存成本地文件一并贴给模型。只描述字段,生成的值会明显不真实,比如地址全落在同一个城市。
- 产出落到本地表格文件,别只留在对话窗口里。几百条数据靠复制粘贴迟早错行。
具体步骤
- 把表结构整理成一份清单,逐字段写清约束。枚举字段把所有合法值列出来。
- 说明规模和分布,不要只说生成一批。例如两百条,其中两成手机号为空,注册时间落在近一年内且集中在工作时段。
- 指定输出格式。要 CSV 就说清分隔符、有没有表头、日期用哪种写法;要入库就说清目标数据库类型。
- 要求它先给五条样例,你确认字段对应关系没错,再让它出全量。顺序反了会白白生成几百条废数据。
- 拿回来先做机器校验:条数、去重、非空率、枚举合法性、外键是否都能对上。
- 校验通过后先灌测试库,跑一遍业务流程,再决定要不要扩量。
几个坑
- 生成的手机号、证件号、邮箱看着像真的。用真实号段或真实域名,测试环境的通知可能真的发出去,也会撞上别人的号码。统一用文档里标注的保留号段和示例域名。
- 分布太均匀。全是正常值的数据测不出边界,要有空值、超长、极值、临界日期。
- 金额用小数直接生成。涉及金额的字段一律用整数分存储,让模型按分给值,避免后面四舍五入对不上账。
- 时间不带时区。跨时区的系统里,同一批数据在两端显示的日期可能差一天。
- 直接连生产库执行。假数据一旦写进生产库,清理比生成麻烦得多,还可能触发真实通知。
怎么验证
- 跑几条约束查询:主键重复数应为零,必填字段空值率符合你设定的比例,外键孤儿数为零。
- 抽十条人眼看。字段之间要逻辑自洽,比如订单金额和明细之和对得上,收货地址和手机号归属地不冲突。
- 用系统的表单校验跑一遍。假数据如果过不了自己的校验,说明约束描述漏了。
- 拿去做一次完整流程演示。演示走不通,通常不是数据量不够,而是缺少某个中间状态。
常见问题
生成的假数据会泄露真实信息吗
一般不会,但风险在反方向:模型可能生成看起来像真实号码的值。判断标准是能不能对应到具体的人。把号段、域名、姓名都用明显虚构的写法,并在数据里留一个标记字段,方便以后批量清理。
一次生成几千条会不会乱
会。长输出到后面容易重复、错行、字段错位。更稳的做法是分批,每批一两百条,每批换一个随机种子,最后统一校验。批量脚本里别忘了失败重试和断点续跑。
能不能直接生成入库语句
可以,但要让它同时输出字段名,不要只给值。字段顺序一旦和表结构不一致,插进去就是错位数据,而且不报错。执行前先在空库上试一遍。
一句话总结:给模型表结构和分布要求,先看五条样例再出全量,拿回来过约束、抽检,只在测试库执行。