关于服务器:音视频FAQ三音画不同步

 摘要

本文介绍了音画不同步问题的五个因素：编码和封装阶段、网络传输阶段、播放器中的解决阶段、源内容产生的问题以及转码和编辑。针对这些因素，提出了相应的解决方案，如应用标准化工具、抉择弱小的传输协定、自适应缓冲等。此外，介绍了第三方音视频服务商如即构的解决方案，包含优化的编解码器、动态码率调整、前向纠错和包重传等。最初，强调了开发者须要亲密监控利用性能并与音视频服务提供商单干，以确保最佳的音画同步体验。

一、前言

对于音视频开发者来说，把握排查问题的技术技巧办法是十分必要的，排查问题的技术办法也可能帮忙开发者更好地理解音视频技术的原理和工作机制，从而更加深刻地了解音视频开发中遇到的各种问题。

即构基于多年实时互动畛域技术的积淀和客户服务保障，咱们将推出《视频直播技术 FAQ》系列文章，将实时互动技术畛域的常见问题和教训分享进去，同时会针对具体问题附上业务通识和罕用解决方案以及案例教训，心愿本系列能成为你手边的音视频通识册子，帮忙到开发者们疾速定位问题并找到适合的解决方案。

本系列将每周继续更新，目前已整顿了以下常见问题：

1. 视频卡顿
2. 延时高
3. 音画不同步
4. 视频花屏、绿屏
5. 视频黑屏
6. 视频放大或黑边
7. 首开慢
8. 音视频流控
9. 视频含糊
10. 无奈关上摄像头
11. 音频回声
12. 音量太小
13. 音频噪声
14. 无声
15. 高低麦音量变动

在上一篇文章中，咱们探讨了音视频传输过程中延时高的问题。咱们首先具体介绍了延时的概念以及延时可能产生的各个环节，包含设施端延时、网络传输延时和服务器延时。咱们提供了一系列排查和解决方案，如排查网络问题、核实技术栈预期延时是否统一，以及应用 UDP 进行音视频传输等。通过这些办法，读者能够更好地了解并解决音视频传输中延时高的问题。

但解决延时高的问题后，咱们可能还会面临其余挑战。例如，音画不同步是许多开发者常常遇到的一个辣手问题。当音频和视频数据不齐全同步时，使视频播放显得十分不天然，观众会有很差的观看体验。因而，理解其起因并把握相应的解决策略显得尤为重要。

本文是《音视频技术 FAQ》系列的第三篇文章。咱们将深刻分析音画不同步的起因，包含硬件设施、编解码解决、网络传输等方面可能导致的不同步状况。同时，咱们将提供一系列办法来辨认、排查和解决音画不同步问题，以确保用户在观看音视频内容时可能取得更好的体验，并为开发者提供相应的解决方案。

二、音画不同步基本概念和体现

音画不同步：又被称为口音不同步或 AV 同步问题，是指在观看视频时，画面与声音之间存在显著的时间差，导致用户观感受到的打断。具体表现为：

• 先声后影：声音先于画面呈现，使观众听到声音但尚未看到对应的画面。
• 先影后声：画面先于声音呈现，使观众先看到画面但稍后能力听到对应的声音。

三、工夫戳 - 音画不同步的外围影响因素

指挥棒作用： 工夫戳在音视频解决中起着“指挥棒”的作用，它决定了音频和视频什么时候播放、如何播放。解决工夫戳的正确性和连续性是确保音画同步，为用户提供无缝、高质量的音视频体验的要害。不精确或不间断的工夫戳可能导致一系列的播放问题，其中最显著和令人困扰的便是音画不同步。

解决其余问题的根底：工夫戳是解决其余音画不同步相干问题的要害。例如，网络稳定导致的数据包提早或失落能够通过应用工夫戳进行包的从新排序或弥补来解决。正确和间断的工夫戳为这些操作提供了必要的信息。

与其余技术的互动：工夫戳是许多音视频技术的根底，如缓冲、前向纠错、适应性流等。它们都依赖于精确和间断的工夫戳来优化和同步音视频流的传输和播放。

工夫戳，通常示意为“PTS”（Presentation Time Stamp），是附加到音频或视频样本上的一个标记，用于批示该样本该当在何时被出现或播放。这意味着，不管数据是否被实时传输，播放器都能够依据工夫戳来正确地同步并播放音频和视频帧。

在音视频畛域，工夫戳是一个至关重要的概念。音视频内容在创立、传输和播放过程中都依赖工夫戳来确保同步。工夫戳是与每一帧（音频或视频）相关联的标记，用来示意该帧应该在何时进行播放。现实状况下，音频和视频的工夫戳应该严密匹配，这样在播放时，声音和画面就会同步。如果处理不当，可能会导致音画不同步、帧失落或其余相干问题。

四、音画不同步产生的起因

音画同步问题的外围在于“工夫戳”。当音画不同步产生时，其背地的外在逻辑是：在音视频解决、传输或播放的某个环节，音频和视频之间的这种工夫戳匹配性被毁坏。这可能是因为多种起因，如网络提早、编解码提早、播放器解决策略、源内容问题等。

以下是对于工夫戳导致音画不同步的外围起因：

1. 工夫戳的不准确性：如果在录制、采集、编码或封装过程中，音频和视频的工夫戳不精确，那么在播放时，它们将不会同步播放。
2. 工夫戳的解决：在传输或流化过程中，尤其是在实时音视频通信或直播中，网络稳定可能会导致局部数据包的提早或失落。当这些数据包蕴含要害的工夫戳信息时，可能会导致音画不同步。
3. 播放器的解决形式：播放器须要依据工夫戳来解码和渲染音频和视频帧。如果播放器不能正确地解析或应用这些工夫戳，或者在解决缓冲、丢包等问题时未能保护工夫戳的一致性，也会导致音画不同步。
4. 总之，确保音画同步的要害是在整个音视频解决链路中正确地生成、保护和应用工夫戳。任何毁坏工夫戳一致性的因素都可能导致音画不同步。

音画不同步实质上是因为音频和视频帧的工夫戳不匹配导致的，这种不匹配可能在任何音视频内容的生命周期阶段产生，从创作、传输到播放。为了修复这种不同步，通常须要在受影响的环节进行校准或同步操作，确保音频和视频帧的工夫戳再次匹配。

以下是根据上述因素的一些倡议和解决策略：

编码和封装阶段：

• 标准化工具：应用通过工夫测试且宽泛认可的编码和封装工具能够升高工夫戳谬误的危险。
• 封装格局抉择：理解并抉择适宜利用场景的封装格局。例如，对于流媒体 HLS 可能更为适合

网络 传输：

• 弱小的传输协定：应用像 RTMP 或 WebRTC 这样的协定，它们内置了对音画同步的反对。
• 前向纠错：利用前向纠错技术，缩小因网络问题导致的数据包失落。
• 适应性 流：依据网络条件调整码率和品质，缩小数据包失落和提早。

播放器解决：

• 抉择成熟播放器：成熟的播放器往往对工夫戳解决有更强的容错性。
• 自适应缓冲：动静调整缓冲长度，确保晦涩播放同时缩小同步问题。
• 硬件加速查看：确保所应用的硬件加速器与播放器兼容，并正确处理工夫戳的排序。

源内容问题：

• 校准录制设施：确保摄像机和麦克风在录制时是同步的。
• 监控录制：实时监测录制内容，以便疾速发现和解决任何不同步问题。

转码和编辑：

• 非破坏性编辑：抉择能够非破坏性解决音视频的编辑软件，防止扭转原始工夫戳。
• 规范转码工具：与编码和封装阶段一样，抉择通过验证的转码工具。

确保音画同步是一个简单的工作，波及整个音视频解决链路的多个阶段。不过，通过了解可能的问题起源并采纳失当的技术策略，能够最大水平地缩小或打消音画不同步问题。

五、音画不同步解决方案

上面咱们将针对每一个阶段影响音画不同步因素进行拆解，并依据不同因素提供一些倡议和解决策略，解决工夫戳的正确性和连续性是要害。

起因 1：编码和封装阶段产生的音画不同步问题

产生起因：

• 生成工夫戳的不准确性：在录制、编码或封装过程中，如果源设施或软件没有正确生成工夫戳，可能导致同步问题。
• 封装格局：不同的封装格局如 MP4, MKV, TS 等解决工夫戳的形式可能会有所不同，如果不当可能会引入不同步。

解决方案：

• 标准化工具：应用通过工夫测试且宽泛认可的编码和封装工具能够升高工夫戳谬误的危险。如 FFmpeg、第三方音视频厂商的编解码工具：即构。
• 封装格局抉择：理解并抉择适宜利用场景的封装格局。例如，对于流媒体，MPEG-DASH 或 HLS 可能更为适合。

起因 2：网络传输阶段产生的音画不同步问题

产生起因：

• 数据包的失落：在网络不稳固的状况下，音频或视频数据包可能失落，导致播放器收到的工夫戳信息不间断。
• 数据包的提早：网络稳定或拥塞可能导致音频或视频数据包提早，导致工夫戳在播放时不间断。
• 重传机制：为了补救失落的数据包，某些协定可能会从新发送数据包，这可能会导致工夫戳的乱序或反复。

解决方案：

• 弱小的传输协定：应用开源协定 RTMP 或 WebRTC 这样的协定，它们内置了对音画同步的反对。
• 前向纠错：利用前向纠错技术，缩小因网络问题导致的数据包失落。
• 适应性流：依据网络条件调整码率和品质，缩小数据包失落和提早。

起因 3：播放器中的解决阶段产生的音画不同步问题

产生起因：

• 缓冲策略：播放器为了提供晦涩的播放体验，可能会缓存一定量的音视频数据，这可能会影响音画的同步。
• 谬误的工夫戳解析：播放器在解析音视频流的工夫戳时，可能因为编码、封装或其余问题而呈现谬误。
• 硬件加速：某些硬件加速解码器在解决音视频流时，可能不齐全遵循规范的工夫戳解决逻辑，导致不同步。

解决方案：

• 抉择成熟播放器：成熟的播放器往往对工夫戳解决有更强的容错性。
• 自适应缓冲：动静调整缓冲长度，确保晦涩播放同时缩小同步问题。
• 硬件加速查看：确保所应用的硬件加速器与播放器兼容，并正确处理工夫戳。

起因 4：源内容产生的音画不同步问题

产生起因：

• 录制时的不同步：如果在录制过程中音视频源自身就存在不同步问题，那么即便工夫戳是精确的，播放时仍会呈现音画不同步的景象。

解决方案：

• 校准录制设施：确保摄像机和麦克风在录制时是同步的。
• 监控录制：实时监测录制内容，以便疾速发现和解决任何不同步问题。

起因 5：转码和编辑

产生起因：

• 在前期编辑或转码过程中，如果音视频轨道被拆散并且别离解决，可能会导致工夫戳的不统一。
• 转码工具或编辑软件可能会对原始的工夫戳进行批改或从新生成，如果处理不当，可能会引入不同步问题。

解决方案：

• 非破坏性编辑：抉择能够非破坏性解决音视频的编辑软件，防止扭转原始工夫戳。
• 规范转码工具：与编码和封装阶段一样，抉择通过验证的转码工具。

思考到上述因素，维持音画同步须要在整个音视频解决链路中对工夫戳进行继续、精确的治理和保护。

六、音视频厂商解决方案 - 音画不同步问题

当咱们应用第三方音视频服务，如 ZEGO 即构 (https://www.zego.im/)
来搭建音视频利用时，许多与音画同步相干的问题实际上曾经被该服务解决或优化了。第三方服务通常具备专门的团队和技术来应答这类问题，并在其 SDK 和平台中实现了多种解决策略。即构音视频 SDK 的外围策略是放弃工夫戳传递正确， 上面为大家介绍即构等音视频厂商解决音画不同步问题的解决策略，以即构为例操作步骤如下：

1 问题排查

1. 如果应用了自定义视频采集，请查看自定义视频采集的工夫戳是否正确，尤其要查看工夫戳的单位是否正确（SDK 应用 Unix 规范工夫戳，单位为毫秒）。ZEGO SDK 外部会依据您提供的采集工夫戳进行音画同步。
2. 如果应用了虚构摄像头采集（比方 XX 直播助手），因为虚构摄像头的采集提早可能存在过大问题，而 ZEGO SDK 是无奈获取到这种提早的，可能存在音画不同步的问题。针对这种状况，您能够在即构官网与 ZEGO 技术支持分割，技术支持可在剖析确认后，通过引擎进阶配置进行修改。

2 应用 星图 监控品质

应用 ZEGO 治理控制台中的星图，对音视频通话的品质进行跟踪。即构 ZEGO 星图平台提供全链路音视频品质监测，含问题定位诊断、洞察品质与体验、业务经营剖析、实时监控告警等外围模块，提供丰盛的大盘数据帮忙开发者多维度全方位监控业务运行。

3 技术策略

**ZEGO 即构
作为一家提供实时音视频技术的公司，ZEGO RTC SDK 有许多先进的技术策略来提供高质量的音视频传输。**

1. 优化的编解码器：即构和其余音视频厂商通常会集成或优化业界规范的编解码器，确保工夫戳的精确生成和解码。
2. 动态码率调整：针对网络条件一直变动的状况，即构的 SDK 会动静调整码率，以确保音视频数据的连续性，并最小化数据包的失落或提早。
3. 前向纠错与包重传：为了补救网络传输中的数据失落，即构等服务实现了前向纠错和数据包重传机制，这有助于复原音画同步。
4. 分层编码和大小流策略： 即构的分层编码和大小流策略，发送端发送不同分辨率的流，依据网络情况动静抉择哪个流进行播放，确保视频的流畅性同时也有助于音画同步。
5. 智能路由与多路径传输：为了最小化网络提早和丢包，即构可能应用其云服务进行智能路由或实现多路径传输。

七、结语

应用如即构这样的第三方音视频服务，开发者能够大大简化音画同步的问题解决。这些服务在其技术战争台上施行了多种策略和优化，从而为最终用户提供了优质的音视频体验。然而，只管有了这些高级的解决方案，开发者依然须要亲密监控其利用的性能，并与音视频服务提供商单干，以确保最佳的音画同步体验。

对于 音画不同步 的问题的排查和解决方案就介绍到这里了，在下一篇文章中，咱们将深入探讨 视频花屏、绿屏 这个话题。