AI 怎么把流式返回的内容拼成完整文本
流式返回是一堆碎片,拼错就会缺字、重复或多出标记。这里讲清分片怎么取、中文怎么不断、拼完怎么核对。
开流式是为了让首字更快出现,代价是拿到的是一串碎片而不是一段话。拼接出错的典型表现是少几个字、同一段重复出现、末尾多出一段标记。这篇只讲一件事:把流式增量拼成一段可以逐字比对的完整文本。
入口在哪
- 先看接口文档里的 stream 开关,多数叫 stream,也有叫 stream_mode 的,设成 true 才开始返回增量。
- 响应体每行以
data:开头,最后一行是data: [DONE],这是 OpenAI 兼容协议的固定收尾标记。 - 准备一个能看原始响应体的工具,命令行、接口调试工具或浏览器开发者工具的 Network 面板都行,先看清碎片长什么样再写拼接。
具体步骤
- 先关掉流式跑一次,把完整结果存成基线文件,后面所有比对都以它为参照。
- 打开流式后按行切分响应体:空行表示一条消息结束,取 data: 之后的内容,遇到 [DONE] 直接跳过。
- 取增量字段,多数协议在 choices 数组的第一个元素的 delta 里,字段名各家略有差别;每个片段追加到同一个字符串上,不要覆盖。
- 中文被切断是常态,一个汉字占三个字节,跨两个片段很常见。要让解码器自己处理边界,不要把片段先转成字符再拼字节,否则会出现乱码方块。
- 拼完立刻和基线逐字对比,找出第一个不一致的位置,就能判断是丢了片段还是重复追加。
- 落库时把结束原因一起存下来,被长度上限截断的记录单独标记,别和正常结果混在一张表里。
几个坑
- 把整个增量对象当字符串拼,最后得到一坨带花括号的 JSON 片段,正文全废。
- 断线重连后从头再发一遍,已经收到的片段会重复。重连前记下已处理的序号或字符偏移,从断点续接。
- 有些代理会先把整个响应缓冲下来再一次性吐出,看着像流式,首字延迟其实没变,先把中间层排掉再判断。
- 结尾的 [DONE] 没过滤,会被拼进正文,还会让后面的结构解析整段失败。
怎么验证
准备两段测试文本:一段三百字左右的中文,一段夹着表情符号的混合文本。各跑一次流式,与基线逐字比对,要求完全一致。再故意在第十秒断开网络,看重连之后有没有重复片段。两个都过,拼接基本可以放心用。
常见问题
拼出来总比基线少几个字,问题出在哪?
九成是字节边界没处理好。片段落在汉字中间时,如果先按单字节转字符,坏掉的字节会被悄悄丢掉。换成能缓冲不完整字节的解码方式,问题一般就消失。
本地跑得好好的,上线就丢字?
检查反向代理和压缩。有的代理会做响应缓冲或二次压缩,碎片被重新切分。先在内网直连服务端验证一次,再逐层加代理,定位到哪一层开始出错。
能不能边收边显示,又要保证最终完整?
分开处理:界面显示用一份累积副本,允许它短暂不完整;最终结果用拼接完成后统一落库。不要在显示层反复改写已经输出的字符,那是最容易出乱码的做法。
一句话总结:先把完整结果存成基线,再处理分片与字节边界,最后逐字比对,拼接才算做完。