最新

AI 怎么把问卷开放题归类

几百份问卷的开放题,一条条读要一整天,读完标准还容易前后不一。这篇讲怎么定互斥类别、用校准集对齐,以及怎么靠条数守恒和抽检确认结果能用。

几百份问卷里的开放题,一条条读要一整天,读完还容易前后标准不一。把归类交给 AI 是可行的,但前提是类别先定好、判断标准写清楚、结果能抽查。直接贴一句帮我归类,拿到的东西基本没法用。

入口在哪

  • 对话式 AI:适合几十到几百条,能一边归类一边给理由,改标准也快。
  • 表格软件里的 AI 功能:数据本来就在表里时最省事,不用来回复制粘贴。
  • 数据分析平台:条数上千、要反复跑同一套规则时更合适。
  • 人工:不是被替代的那一方。类别定义和抽查复核必须由人做,这一步省不掉。

具体步骤

  1. 先定类别。三到八个互斥的类,外加一个「其他」兜底。类太多,判断标准就会互相打架。
  2. 每个类写一句可操作的判断标准,再给一正一反两个例子。标准写得越像规则,结果越稳定。
  3. 随机抽三十到五十条,自己先标一遍,作为校准集。别专挑好标的,随机才有意义。
  4. 把类别定义、判断标准、例子一起给 AI,要求输出四列:序号、原文、类别、一句话理由。
  5. 先跑校准集,和你的标注对比。一致率低就回去改标准,而不是改 AI 给的答案。
  6. 全量分批跑,一批三十到五十条。批太大,后半段会开始丢条、序号错位。
  7. 结果贴回表里,人工只复审兜底类和争议大的条目,能省掉大头工作量。
  8. 最后按类别计数,做成频次表。

几个坑

  • 类别不互斥。同一条既能归 A 又能归 B,统计就废了,定义阶段就要把边界写死。
  • 让它改写原文。一旦它顺手润色,后面就没法逐条核对,也回溯不到问卷编号。指令里要明确要求原文照抄。
  • 一次喂太多。条数一多,输出会缺行,序号还会错位,对不上号的数据比没数据更麻烦。
  • 小众意见被抹平。模型倾向把模糊表达塞进最大的类,负面或者极端的少数意见容易被吃掉。
  • 个人信息。贴之前把姓名、电话、单位这类字段去掉,只留回答本身。
  • 把归类结果直接当结论用。样本怎么抽的、回收率多少,决定了这些百分比能不能对外说。

怎么验证

  • 条数守恒:进去多少条,出来必须还是多少条,序号连续不缺。
  • 校准集一致率:和人工标注对一遍,八成以上一致再往下跑。
  • 抽检:从每个类里随机抽五到十条,人工看一遍归得对不对。
  • 分布检查:兜底类占比过高说明类别没覆盖住;某一类占比异常高,先怀疑标准写得太宽。
  • 回退:原始回答单独存一列,归类结果放另一列,任何时候都能从原始数据重来。

常见问题

上千条能一次处理完吗

不建议。分批跑更稳,每批控制在几十条,跑完一批落一次表。中途出错也只丢一批,不用从头再来。

能不能直接在表格软件里做

表格软件自带的 AI 功能适合数据已经在表里的情况,能少一次复制粘贴。条数多、规则复杂时还是在对话里跑更可控,跑完再贴回表里。

多选题的回答怎么归类

按选项拆开计次,不要按人归类。一个人选了三个选项,就在三个类里各计一次,分母变成选择次数而不是人数,这个口径要在报告里写清楚。

一句话总结:开放题归类的顺序是先定互斥类别和判断标准、再用校准集对齐、然后分批跑并做条数守恒和抽检;AI 负责读和贴标签,类别和复核必须留在人手里。