AI 怎么估算一段文字要花多少 token
先拿真实语料在分词工具上实测,再乘调用次数,输出和输入分开算,最后用账单对一次账。
做批量处理前,最该先算清的是这段文字要花多少 token。按字数乘一个固定系数估出来的数字,误差能到两三成,预算和超时都会跟着失准。正确做法是拿真实语料在分词工具上实测,再用接口返回的用量字段校准。下面写完整流程,从抽样到对账一共六步,跑完一遍就能定下自己的估算系数。
入口在哪
- 各家官方都提供在线的分词演示页,搜分词器或 tokenizer 最快找到。
- 接口响应里的用量字段,是最贴近真实计费的原始数据。
- 本地也可以装对应语言的分词库,批量跑不用一条条粘;网页版和本地库的结果偶尔差一两个 token,验口径看网页版,批量估算靠本地库。
具体步骤
- 从待处理数据里随机抽二十条真实输入,覆盖最长和最短的极端情况。
- 把样本粘到分词演示页,记下每条的实际 token 数,算出每千字的平均值。
- 把同一条输入发一次最小请求,读响应用量字段里的输入数与输出数。
- 按「输入平均长度乘调用次数,加输出平均长度乘调用次数」分别算两块。
- 在总量上再留两三成余量,用来覆盖重试、系统提示和上下文累积。
- 正式批跑前先跑一百条真实数据,用账单增量和估算值对一次。
几个坑
- 系统提示、示例、历史对话都算输入,只统计正文会明显低估,多轮对话尤其严重。
- 不同模型的分词方式不同,在一个模型上测出的比例搬到另一个模型上就失真。
- 输出通常单价比输入高,两块必须分开算,合并成一个系数会让预算偏乐观。
- 流式返回时用量字段可能只在最后一块出现,中途统计容易得到零;图片与附件会按规则折算成 token,纯文本系数套上去会偏小,带图任务要单独测一组。
怎么验证
抽十条输入,同时走分词页和真实接口两条路,两边差在五个百分点以内就说明估算口径站得住。再隔一天看账单增量,和按估算值推算的消耗比一比,量级一致即可。若偏差一直偏大,回头查是不是把多轮历史也算漏了。
常见问题
中文一个字等于多少 token
没有统一答案,与模型的分词表有关,常见落在一个汉字对应一到两个多 token 的区间,必须实测才算数。
需要精确到个位吗
不需要。估算是为了定预算和切批大小,留出余量比追求个位数准确更有意义。
长文档怎么估
按段落累加而不是按整篇乘系数,因为切分边界会额外产生少量 token,分段估更接近真实。
一句话总结:抽真实样本实测,输入输出分开算再留两三成余量,最后用当天账单对一次账。