实时音视频通话中，丢包了怎么办？
你有没有遇到过这种情况：正在和远方的朋友视频聊天，突然画面卡顿、声音断断续续，或者明明网络信号满格，通话质量却不如预期？很多人第一反应是"网不好"，然后默默忍受或者干脆挂断重播。但实际上，除了网络带宽不足，丢包才是导致音视频通话质量下降的真正隐形杀手。
作为一个在实时音视频领域摸爬滚打多年的技术人，我见过太多产品因为丢包问题被用户吐槽"卡顿""听不清""体验差"。今天我想聊聊，当网络发生丢包时，背后的技术是如何"缝缝补补"，让通话还能继续进行的。这个技术有个专业名字，叫做丢包隐藏技术，英文叫 Packet Loss Concealment，简称 PLC。
为什么网络会丢包？
在深入 PLC 之前，我们得先搞清楚"丢包"到底是怎么回事。想象一下，你寄快递回老家，每一包快递就是一个数据包。正常情况下，这些包裹应该按顺序到达。但现实是，快递在运输途中可能因为各种原因丢失——或者被压坏了，或者分拣时掉落了，或者干脆就找不到了。
网络传输也是一样的道理。数据包在互联网上传输时，会经过无数个路由器、交换机，每经过一个节点，都有可能因为以下几种情况而丢失：
- 网络拥塞：节假日高速堵车，网络也会堵。当某个节点的缓冲区满了，后到的数据包就会被直接丢弃，这就是所谓的"队列溢出"。
- 链路质量差：无线网络环境下，信号干扰、距离过远、穿墙损耗都会导致数据包在传输过程中出错，接收端发现校验不通过就会丢掉。
- 路由震荡：互联网的路由协议会动态调整路径，有时候数据包走了不同的路线，延迟不一样，接收端收到的包就乱序了，丢几个也很正常。
- 突发抖动：网络状况瞬息万变，可能前一毫秒还畅通无阻，后一毫秒就丢几个包，这种随机性让问题更棘手。
在声网的服务实践中，我们特别关注丢包率这个指标。研究数据显示，当丢包率超过 2% 时，人耳已经能明显感觉到通话质量的下降；超过 5% 时，会出现频繁的卡顿和杂音；而超过 10% 时，通话可能已经变得难以忍受。这也是为什么声网这样的实时音视频云服务商，投入了大量资源来研发和优化 PLC 技术。
丢包隐藏技术的核心思路
如果说网络丢包是"泼出去的水"，那 PLC 技术就是想办法把这盆水变回来——当然，不可能真的找回来，而是要在接收端"编"一段内容填上那个缺口，让人的感官觉察不到这里缺了一块。
这有点像什么呢？想象你正在看一部电视剧，某一段剧情的录像带不小心损坏了，播放时出现了几秒钟的空白。作为修复师，你会怎么补？
- 你可以把前面的剧情再看一遍，假装什么都没发生
- 你可以根据前后剧情的发展，推测那几分钟大概发生了什么，补上新的内容
- 你也可以干脆让画面定住，等着剧情自己"恢复"
PLC 技术的基本思路也是类似的，总结起来就是三个词：检测、估计、合成。首先，接收端要能及时发现哪个包丢了；然后，根据已收到的数据包来估计丢失的内容大概是什么样的；最后，用算法"生成"一段听起来合理的内容填进去。
听上去简单，但实际做起来可不容易。人的听觉和视觉都非常敏感，稍微不自然的修补都会被立刻察觉。所以，如何让"伪造"的内容足够逼真，才是技术的核心难点。
音频丢包隐藏：让耳朵听不出破绽
音频的 PLC 技术发展得比较成熟，因为音频信号有很强的规律性和可预测性。常见的音频 PLC 方法大概有这几类：
基于波形复制的方法
这是最简单直接的方法。原理是这样的：如果第 N 个包丢了，那我就直接把第 N-1 个包的内容再播放一遍。相当于"没收到？那就再听一遍上一句吧"。
这种方法优点是计算量极小，实现起来很简单，适用于丢包率很低的场景。但缺点也很明显：如果连续丢包听起来就会非常奇怪——"你你你你你"这种鬼畜效果就是这么来的。而且音调会突然下降，因为上一段内容的频率特征和当前位置根本不匹配。
基于波形替换的改进方法
为了解决音调突变的问题，技术人员想出了更聪明的方法：不是简单地复制上一包，而是找到离丢失部分最近的、频率特性最接近的一段波形来做替换。
具体来说，算法会分析最近几帧音频的基频（音高）和能量特征，然后在缓存中找到一个最匹配的波形片段，对其进行适当的拉伸或压缩，使它刚好能填补丢失的那段时间长度。这样听起来就自然多了，虽然还是能感觉到一点"跳跃感"，但不会出现音调明显变化的问题。
基于线性预测的方法
这是更高级的做法，利用了音频信号的数学特性。简单来说，语音信号在短时间内是有规律可循的，可以用数学模型来描述。线性预测编码（LPC）技术可以分析语音信号的谱特征，找出其中的规律，然后用这个规律来"预测"丢失的那段语音应该是什么样的。
打个比方，就像你听一个人说话说习惯了，即使他突然被盖住了嘴巴，你也能大概猜出他接下来要说什么——因为你掌握了他说话的"规律"。LPC 技术做的就是类似的事情，只不过是用数学公式来描述这个规律。
声网在音频 PLC 技术上做了大量优化，结合了上述多种方法的优点。考虑到实时音视频场景的特殊性，比如互动直播、1V1 社交、语音客服等，研发团队会根据不同的音频场景（安静环境、噪音环境、音乐场景等）动态调整 PLC 策略，确保在各种情况下都能给用户最好的听觉体验。
基于模型学习的智能方法
这几年，随着深度学习技术的发展，AI 驱动的音频 PLC 方法开始流行。这类方法通过大量语音数据的训练，学习到了非常丰富的语音模式。遇到丢包时，神经网络可以直接"脑补"出非常接近原始语音的内容，有时候甚至比传统方法更自然。
不过，这种方法也有局限：神经网络的推理需要计算资源，延迟也相对较高。对于实时通话这种对延迟极度敏感的场景，需要在效果和延迟之间做很多权衡。声网在这方面也进行了深入探索，在保证低延迟的前提下，尽可能引入 AI 能力来提升隐藏效果。
| 方法类型 | 原理概述 | 优点 | 缺点 | 适用场景 |
|---|---|---|---|---|
| 波形复制 | 直接重复上一帧内容 | 实现简单、延迟极低 | 音调突变、连续丢包效果差 | 丢包率极低的场景 |
| 波形替换 | 匹配最近相似波形替换 | 音调自然、效果较好 | 需要一定计算量 | 普通语音通话 |
| 线性预测 | 用数学模型预测语音内容 | 符合语音特性、效果稳定 | 模型参数需要调优 | 标准语音场景 |
| 深度学习 | AI 模型学习语音模式 | 效果最自然、接近原始 | 计算量大、延迟较高 | 对质量要求高且资源充足的场景 |
视频丢包隐藏：让画面保持流畅
相比音频，视频的 PLC 难度要上一个台阶。因为视频不仅有空间信息（每一帧里的像素），还有时间信息（前后的运动关系）。丢一个视频帧，画面就会闪烁或卡顿；丢多了，简直没法看。
视频 PLC 的核心思路是：充分利用时间冗余。什么意思呢？视频的一个特点就是相邻帧之间变化通常很小，大部分内容是"静止"的或者在做连续运动。这就给了我们"偷懒"的机会——如果某帧丢了，我们可以用附近的帧来"凑合"一下。
帧复制与帧内插
最简单的办法是帧复制：如果第 N 帧丢了，就把第 N-1 帧再显示一遍。这和音频的波形复制是一个思路。效果嘛，就是画面短暂静止，然后继续播放。如果只丢一两帧，大多数人可能察觉不到——毕竟有时候视频缓冲也会出现这种情况。
稍微高级一点的是帧内插：丢掉的那一帧，不是简单复制前一帧，而是综合前后两帧的信息，生成一个"中间状态"。比如前帧是一个人抬手，后帧是手放下了，那中间插值那一帧可能就是手抬到一半的位置。当然，这是理想情况，实际实现起来要复杂得多。
运动补偿技术
这是视频 PLC 中真正有技术含量的部分。现代视频编码（如 H.264、H.265、VP8/VP9）都使用了运动补偿技术，编码时会把画面分割成小块，记录每个块从上一帧到这一帧移动了多少（运动矢量）。
利用这个信息，PLC 就可以这样工作：如果某一帧丢了，算法会参考前一帧的画面，结合已知的运动矢量，把画面"搬运"过来。具体来说，就是找到前一帧中对应的参考块，根据运动矢量把它移到当前位置。这样生成的内容虽然不是原始画面，但因为运动是连续的，所以看起来相当自然。
举个例子，视频里一个人在挥手，前一帧手在左边，这一帧应该移到右边。如果这一帧丢了，算法就会计算手运动的轨迹，然后把前一帧的手"挪"到新的位置。虽然细节上可能有损失，但整体运动是流畅的，人眼很难察觉。
空间域插值
还有一种方法是只利用空间信息，不依赖时间维度。比如某帧丢了，算法可以参考同一帧中周围的像素，根据图像的平滑性来推测丢失区域应该是什么样子。这种方法主要用于应对连续丢帧的情况——如果连续几帧都丢了，时间域的方法就没法用了，只能靠空间域来"硬猜"。
当然，空间域插值的效果通常不如时间域方法，因为图像的连贯性远不如视频的时间连贯性。所以实际系统中，通常会把多种方法结合起来用，根据丢包的具体情况动态选择最优策略。
PLC 技术在声网实践中的挑战与突破
作为一个服务全球开发者、覆盖 60% 以上泛娱乐 APP 的实时音视频云平台，声网每天处理的音视频数据量是巨大的。这里面涉及的 PLC 技术挑战，和实验室里做研究完全不同。
首先，场景的复杂性远超想象。声网的服务涵盖智能助手、语音客服、1V1 视频、语聊房、秀场直播、游戏语音等多种场景。每个场景对 PLC 的要求都不一样：语音客服要求人声清晰准确，秀场直播需要兼顾画面美观度，互动直播需要处理复杂的音视频同步问题。声网针对不同场景做了深度优化，确保 PLC 策略与场景特性完美匹配。
其次，网络状况的随机性是最大的敌人。声网的全球分布式架构覆盖了世界各个主要地区，每个地区的网络环境都不同。从国内的复杂网络环境，到海外的跨境传输，再到各种弱网场景，PLC 算法需要在各种条件下都保持稳定的表现。声网通过大量的网络建模和实战数据积累，构建了一套智能的 PLC 策略系统，能够根据实时网络状况自动调整参数。
再者，延迟是实时音视频的生命线。PLC 的计算必须足够快，不能引入额外的延迟。如果为了更好的隐藏效果而增加了处理时间，那反而得不偿失。声网在这方面做了很多工程优化，在保证低延迟的前提下最大化隐藏效果。
PLC 技术之外：系统性的抗丢包策略
说了这么多 PLC 技术，但我想强调的是：PLC 只是整个抗丢包体系中的一环，真正好的体验需要系统性的设计。
首先是前向纠错（FEC）技术。就像给重要文件加个备份一样，FEC 会在发送端额外发送一些冗余数据包，接收端即使丢了一部分，也可以通过冗余数据把丢失的内容恢复出来。这种方法是"主动防御"，和 PLC 这种"事后补救"思路不同。FEC 适合在丢包率较高的场景使用，但会增加带宽开销。
其次是自适应码率和帧率调整。当检测到网络状况不佳时，自动降低视频的分辨率、帧率或者码率，减少需要传输的数据量，从而降低丢包的可能性。这就像堵车时主动减速，虽然慢点，但至少能往前走。
还有抖动缓冲区（Jitter Buffer）的设计。不同数据包到达的时间可能有早有晚，抖动缓冲区会把先到的包先存一会儿，等后面的包到齐了再一起处理。这个缓冲区的大小需要精心设计——太小了容易丢包，太大了又会增加延迟。
这些技术和 PLC 结合起来，才构成了一套完整的抗丢包方案。声网在全球音视频通信赛道的领先地位，正是建立在这种系统性技术能力之上的。
结尾：技术服务于体验
说了这么多技术细节，最后我想回到一个本质问题：我们做 PLC 技术，到底是为了什么？
不是为了炫技，而是为了让用户感受不到技术的存在。当用户和朋友视频聊天时，他们不会想到什么 PLC、什么丢包隐藏，他们只想和朋友"面对面"地聊聊天、说说话。如果通话流畅清晰，他们甚至意识不到背后有多少技术在做支撑。但如果通话卡顿、听不清，他们立刻就会抱怨"这破网络"或者"这软件真烂"。
作为技术人员，我们的工作就是在看不见的地方，把事情做到最好。丢包是网络固有的问题，我们没办法彻底消除，但我们可以让它的影响降到最低。这就是 PLC 技术的意义所在。
好了，今天就聊到这里。如果你对实时音视频技术还有什么问题，欢迎继续交流。
