RTC

摘要延时高是实时互动技术中常见的问题之一，解决延时高问题须要综合思考网络、设施、编解码算法等多个因素。解决方案包含优化设施端延时、优化网络传输延时和应用UDP进行音视频传输等。在抉择音视频传输协定时，须要综合思考理论需要和网络条件，抉择最适宜的协定。本文介绍了延时高的起因和解决方案，心愿对音视频开发者可能有所帮忙。 前言对于音视频开发者来说，把握排查问题的技术技巧办法是十分必要的，排查问题的技术办法也可能帮忙开发者更好地理解音视频技术的原理和工作机制，从而更加深刻地了解音视频开发中遇到的各种问题。 即构基于多年实时互动畛域技术的积淀和客户服务保障，咱们将推出《音视频技术FAQ》系列文章，将音视频技术畛域的常见问题和教训分享进去，同时会针对具体问题附上业务通识和罕用解决方案以及案例教训，心愿本系列能成为你手边的音视频通识册子，帮忙到开发者们疾速定位问题并找到适合的解决方案。 本系列将不定期更新，目前已整顿了以下常见问题： 视频卡顿延时高音画不同步视频花屏、绿屏视频黑屏视频放大或黑边首开慢音视频流控视频含糊无奈关上摄像头音频回声音量太小音频噪声无声高低麦音量变动本文是 《音视频技术FAQ》系列 的第二篇文章。在这篇文章中，咱们将具体探讨如何解决和排查 “延时高” 的问题，这是实时互动技术中最常见的问题之一。 咱们将首先介绍什么是“延时高”，而后列举可能导致问题的起因，最初提供一些解决方案和倡议，同时也会介绍一些第三方音视频SDK例 即构实时音视频RTC，咱们置信这些信息对于那些正在寻找解决办法的开发者来说将十分有用。 一、延时高的定义视频通话和直播是两种不同的利用场景，对于时延的容忍度也存在显著差别，次要起因在于它们的利用场景和用户冀望不同。视频通话谋求实时交互的流畅性，而直播更重视内容的连续性和宽泛散发。 视频通话（实时通信）：视频通话谋求实时交互的流畅性，最大可容忍时延：通常认为，150毫秒至300毫秒内的提早是能够承受的，因为在这个范畴内，人类通常不会显著感触到通话的提早。在商务会议、近程医疗或远程教育等场景中，高提早可能会重大影响成果和用户体验。直播：最大可容忍时延：直播的提早要求会依据具体的利用场景和需要而有所不同。观众在观看直播时，更加关注内容的连续性和清晰度，一般来说，提早在3秒至30秒之间都能够被认为是可承受的。相较于实时通信，直播对时延的容忍度更高。但这并不是固定的，某些对实时性要求更高的场景可能须要更低的提早。例秀场直播、电子竞技直播等对实时性要求更高的场景。二、延时高的问题体现延时高指的是在实时互动中，因为网络传输、设施性能等因素，导致音视频数据在传输过程中的提早过高，从而影响到用户的观看和体验。在音视频开发中，延时高个别指音频和视频的延时。具体场景的影响： 通信过程中呈现显著的滞后，如音频或视频的播放与理论产生的工夫不同步。在游戏中，玩家的操作与游戏反馈之间存在显著的距离。在直播中，主播与观众的互动呈现显著的时间差。三、延时高的产生和起因音视频传输全流程：音视频采集-编码解决-网络传输-服务器解决-解码解决-音视频播放。音视频传输流程能够被划分为以下三个次要模块，这些模块都有可能产生延时： 1. 设施端上的延时：包含采集延时、解决延时、编码延时、播放延时。 采集延时：音视频源数据从硬件设施（如麦克风、摄像头）被采集并转换为数字信号的过程中产生的延时。解决延时：音视频数据在进行各种解决（如降噪、增益管制、回声打消等）的过程中产生的延时。编解码延时：音视频数据在进行编码（转换为能够传输的格局）和解码（转换为能够播放的格局）的过程中产生的延时。播放延时：音视频数据在最初播放的过程中产生的延时，包含视频渲染延时和音频播放延时。2. 网络传输延时：音视频数据从发送端通过网络传输到接收端的过程中产生的延时，包含以下几个局部： 客户端到服务器的延时：音视频数据从客户端发送到服务器的延时，取决于网络情况、带宽、物理间隔等。服务器外部解决延时：服务器接管、解决、转发数据的过程中产生的延时。服务器到客户端的延时：服务器将数据发送到客户端的延时，同样取决于网络情况、带宽、物理间隔等。3. 服务器间的延时：在多服务器或者边缘计算的环境下，音视频数据在服务器之间传输的过程中也会产生延时。 五、延时高的解决方案在音视频传输全流程中，解决延时高问题是一个综合性的工作，须要从各个环节进行优化和改良。上面我将给出一些倡议来解决延时高的问题。 解决音视频传输全流程中的延时高问题，须要从设施端、网络传输、技术栈配置等多个方面进行优化。对于实时性要求较高的音视频传输场景，倡议应用UDP协定进行传输，并在设计和抉择技术栈时，思考到预期的延时和理论体现之间的匹配。解决步骤如下： 1. 排查是否是网络问题 2. 优化设施端上的延时 3. 优化网络传输延时 4. 核实技术栈预期延时 5. 应用UDP进行音视频传输 上面咱们将逐个具体阐明每个步骤，并提供相干示例以帮忙读者更好地了解和利用这些步骤。咱们还将深入探讨这些步骤的理论利用场景，以帮忙开发者更好地了解如何将这些步骤利用于理论问题中。 六、排查是否是网络问题在解决音视频延时问题时，第一步是确定问题是否源于网络。网络品质、物理间隔、以及网络拥塞都能够造成显著的延时。能够应用Ping、Traceroute、iPerf、Wireshark等各种网络测试工具来测试网络延时和丢包率，以确定是否存在网络问题。 网络起因是导致延时高的次要起因之一，解决方案包含以下几个方面： 网络品质：在网络条件不好的状况下，能够采纳一些技术来改善网络品质，如应用QoS（Quality of Service）、加强网络连接的稳定性等。物理间隔：尽可能抉择离用户近的服务器，缩小物理间隔带来的延时，加强网络连接的稳定性。网络拥塞：在网络拥塞的状况下，能够采纳拥塞控制算法，如TCP中的拥塞管制，或者应用CDN等技术来扩散网络流量。同时，监控网络带宽应用状况，确保带宽短缺，防止网络拥挤导致延时减少。七、核实技术栈预期延时如果咱们确定网络状况良好，下一步须要验证你在理论应用的音视频传输过程中的延时，与你应用的技术（例如特定的音视频编解码计划、网络传输协定、服务器配置等）在实践上预期的延时是否匹配。 在验证音视频传输延时与技术预期是否匹配时，有几个步骤能够参考： 获取技术栈预期延时： 通过浏览相干的技术文档、白皮书或者钻研报告，获取你正在应用的编解码计划、网络传输协定等技术的预期延时。这通常会有一个范畴，而非准确的数值，因为理论延时会受到很多因素（比方网络情况、设施性能等）的影响。测量理论延时： 应用业余的音视频剖析工具，例如 Wireshark, FFmpeg, OBS等来获取理论音视频传输的延时。这些工具能够提供音视频流的详细信息，如数据包的工夫戳、发送和接管工夫等，从而能够用于计算音视频传输的理论延时。比拟和剖析： 将理论测量的延时与技术预期的延时进行比拟。如果理论延时显著高于预期延时，那么可能存在问题。剖析可能的起因，可能是网络状况不佳，导致了数据包的失落或者提早；也可能是编解码设置不当，比方编码级别太高，超出了设施的解决能力；又或者是服务器配置问题，比方服务器的网络带宽有余，不能满足音视频数据的传输需要。调整和优化： 依据剖析的后果，对可能的问题进行调整和优化。如果是网络问题，能够思考优化网络环境，或者应用更弱小的网络设备；如果是编解码问题，能够调整编解码设置，升高编码级别，或者换用更高效的编解码计划；如果是服务器问题，能够减少服务器的网络带宽，或者优化服务器的配置。以上步骤1和步骤2比较简单，只需相干的技术文档和应用测量工具即可，在此不赘述。步骤3和步骤4是本环节的外围要点，咱们将开展陈说。 八、预期延时的比照和剖析让咱们以一个具体的例子来解释这个过程。假如你在实现一个实时音视频通信零碎，你抉择了应用 H.264 视频编码和 Opus 音频编码，以及 RTP/UDP 网络传输协定。 在你浏览这些技术的相干文档和材料时，你可能会发现一些对于它们在不同网络和硬件条件下的预期延时的数据。例如，H.264 编码可能有 50 毫秒的编解码延时，Opus 编码可能有 20毫秒的编解码延时，RTP/UDP 网络传输可能有 50 毫秒的网络延时。那么，你能够预期，在现实的网络和硬件条件下，你的音视频通信零碎的总延时应该在 100 毫秒左右。 而后，你能够应用一些测试工具和办法，例如以上提到的 Ping、iPerf、Wireshark 等，来测量你的零碎在理论运行中的延时。 如果你的理论延时与预期的 100 毫秒延时相差不大，那么能够认为你的音视频通信零碎的性能与应用的技术栈的预期性能统一。反之，如果你的理论延时远大于预期的 100 毫秒，那么你可能须要进一步剖析和优化你的零碎，例如，查看你的网络环境、优化你的编解码设置、调整你的网络传输参数等，以升高延时。 ...

在视频系列的上一篇推文中，咱们简略总结了色调、像素、图像和视频等根底概念之间的关系。并且次要关注了两个组合：像素和图像，图像和视频之间的形成逻辑。咱们先来简略回顾一下： 从像素到图像：肯定数量、记录了不同色调信息的像素组合，失去一帧残缺的图像； 从图像到视频：一帧帧图像按肯定频率间断播放，失去了视频。 基于上述演变关系，咱们也提出了一些疑难：何谓 “肯定数量” 和 “肯定频率 ”，以及它们对视频图像有什么影响？其中，对于 “肯定数量” 的问题，咱们曾经通过学习 “分辨率” 的相干常识失去了解答，具体参阅【音视频开发进阶-分辨率与帧率·上篇】。 明天，咱们持续来探讨另外一个问题：何谓 “肯定频率” ？它对视频又有哪些具体的影响？ 何谓按“肯定频率”播放在视频系列的第一篇推文中，咱们简略探讨过 “视频是如何产生的”，过后提到了一个大家熟知的货色：“翻页动画”，或者说 “翻页连环画”，如下图： 翻页动画十分直观地展现了图像到视频的演变关系，咱们回顾一下过后的阐明： 翻页动画的每一页都是动态的图片，常态下平平无奇。但疾速地拨动翻页，让每一页图片疾速、间断地进行展现时，本来“动态”的图片在视觉上就变成了“动静”的。 “动态图片”之所以会转变为“动静画面” ，是基于人眼的“视觉暂留”个性： 人眼看到物体时，物体首先成像于视网膜、并由视神经传入大脑，大脑才感知到物体的像。而当物体从眼帘中移去时，视神经对物体的印象不会立刻隐没，仍会连续几百毫秒。当旧图像隐没、新图像呈现呈现的频率足够快时，前后图像在视觉上就产生了“连贯”感，造成了“动静画面”。  而这，也就是咱们所说的 “视频” 。 1 帧率的定义 上述阐明，其实是对 “一帧帧图像按肯定频率间断播放，失去了视频” 的详细描述。如果取单位工夫为 1s，当每 1s 播放的图像数量为 N 时，咱们称图像帧播放的频率为 N 帧/s。更业余的说法是：视频的帧率为 N fps （Frame Per Second，帧每秒）。 视频的帧率，即为对何为 ”肯定频率“ 的解答。  如果某个视频的帧率为 15 fps ，意味着该视频的每一秒都蕴含 15 帧图像。当咱们从该视频中提取出时长 1s 的片段，再进行合成，就能够失去 15 张独立的图片。 如果合成失去的图片，如下所示（图片程序为：从左至右，从上至下）： 仅从下面图片来看，你认为它形容了一个怎么的动静过程呢？ 若仅作”推断“和”猜想“，或者不难。咱们齐全能够基于独立的图片内容，联合生存教训进行联想：以上形容的是一个点球射门的过程。然而，仅凭动态的图片，咱们的大脑很难整顿出动静的信息，更别说造成一个活泼晦涩的影像了。 只有当这些图片依照 “帧率”的规定，如同 “翻页动画”的页面被拨动起来，所有才会变得不一样。如上面的视频所示，咱们所截取的 1s 片段，就是运动员助跑、射门的一瞬间。  帧率的定义，答复了对于 “肯定频率” 的问题，但仅仅是解释了 “数量” 的定义，并没有形容 “数量” 的影响。帧率的高下变动，到底会给视频带来哪些扭转呢，咱们接着往下看。 ...

背景与挑战实时通信（Real-Time Communication，RTC）音频技术是指将音频流实时传输到近程用户的技术，满足线上实时交互的诉求，广泛应用于在线教育、视频会议、直播、泛娱乐社交、金融、医疗、政企等场景。在 RTC PaaS 厂商理论开发、经营中，音频问题场景多样性、问题迥异性、问题定位时效性对 RTC 音频问题的排查带来了诸多挑战。 RTC 音频问题排查，是 RTC 音频开发技术、性能演进的日常，也是 RTC 音频 QA 的日常，更是 RTC 音频服务的日常。如何在繁冗的事务中，梳理出框架和效率工具，服务降本增效、进步 RTC 音频服务满意度，是本文探讨的重点。 音频问题排查音频问题常见体现常见的音频问题，如下： 这些问题会重大影响用户体验，甚至导致通信无奈失常进行。 音频问题的次要特点音频问题随机性大。RTC 语音是实时交互的语音通信技术，其通过网络传输。网络环境有 2G、3G、4G、5G、Wi-Fi 等不同通信规范，不同运营商、不同区域、不同洲际等差别，网络情况会受到拥挤、丢包、网络提早等问题的影响。网络稳定的偶然性, 还有设施应用场景的随机性，决定语音问题呈现的随机性。 多平台设施差别大。RTC 音频须要反对多种设施和平台，包含 Windows、Android， iOS、Mac，IoT 等。不同设施的硬件还有操作系统的差别、以及附件的差别，例如蓝牙耳机、声卡、模拟器等。 同一个表象，不同根因，定位难。同样杂音问题，能够是网络差导致传输数据包失落或乱序导致的杂音。还有可能是设施 CPU 负荷很高时，录、播线程调度不及时，也会导致杂音。NS 的抑噪算法可能存在问题，导致克制噪声不彻底，反而产生杂音。产生杂音的起因远远不止这几个可能。可见，实时语音的问题很难去定位。 音频体验问题多。RTC 音频传递的不仅是声音信息也传递声音所蕴含的情感。人们对音频问题容忍度非常低。用户在应用 RTC 服务时，须要保障高质量的声音传输，包含低提早、高保真、稳定性和可靠性等方面。 音频问题解决的流程如下图，能够明确看到 RTC 音频问题的起源、排查主体、排查的解决模式。 音频问题排查的次要痛点数据获取困难性。RTC 是实时传输，问题也是实时呈现的。收到问题反馈的工夫，简直都是延后的。失去音频问题的具体数据很要害，也有肯定的难度，例如无奈获取原始音频数据、无奈重现问题等。 排查流程复杂性。音频问题排查的流程比较复杂，须要波及多个环节，例如数据采集（ADM）、数据处理（APM）、编解码器（ACM）、网络（ANM）、服务器、用户所处场景等。 技术门槛高。音频问题排查须要把握肯定的音频解决和信号处理常识，外部排查工具也有肯定的学习、应用老本，对排查人员的要求较高。 问题多元、碎片化。音频问题可能具备多样性和复杂性，例如回声、乐音、失真等问题，须要针对不同状况采纳不同的排查办法；同样的问题，根因随着硬件、场景等变动而变动。 因而，在音频问题排查过程中，须要充沛理解问题的特点和具体情况，采纳适合的工具和办法进行排查，同时须要具备较高的技术水平和问题解决能力。在如何改良工具和办法、升高音频问题排查门槛、进步解决问题能力等方面， 云信 RTC 团队做了一些摸索和实际。 云信 RTC 音频问题排查实际音频问题排查着力点如下图，咱们以音频问题解决流程标准化、自动化为晋升排查效率的着力点。 音频问题解决流程标准化如下图，从 5 个方面来实现音频问题解决流程标准化的闭环。 音频的数据流、控制流清晰化。RTC PaaS 实质是流媒体传输，通过 API 融入不同实时场景，实现实时交互。对于排查问题者，须要抓住不变的局部：数据流和控制流。并从这 2 个维度来分析问题。云信 RTC SDK 依据多客户、多场景改良并清晰化 SDK 音频数据流和控制流。 ...

大家好，我是声网的视频工程师许振明，明天跟大家次要介绍一下声网在 RTC 场景 UHD 视频的利用和摸索。次要基于声网 HFR 和 VDR 两个零碎来开展分享。 随着 RTC 技术的倒退和利用，越来越多的场景都须要接入 RTC 的能力。尤其是随着编码技术、设施能力的迭代，利用场景对视频分辨率、帧率、色调还原提出了更高的要求。 声网 RTC 在 UHD 视频 4K60FPS、HDR 方面做了一些工程实际和摸索，次要利用在教育双师、高端会议、体育运动等场景。上面咱们介绍下声网 UHD 视频的技术撑持，探讨下 4K60FPS、 HDR 产品化上遇到卡顿、设施适配相干的典型问题。 1、UHDUHD 是 Ultra High Definition 的缩写，也就是超高清的意思。超高清的规范个别是当分辨率达到 4K 或以上，也就是 3840x2160 分辨率及以上，与之对应的概念是 FULL HD、HD。 UHD 视频的概念呈现的很早，传统的视频畛域、家庭电视、传统的视频直播等都有所利用。UHD 视频有 5 大因素： 超高清：4K、8K高帧率：渲染高动静范畴：HDR宽色域：WCG色深：10bit、12bit对于 RTE UHD 视频而言，即继承了传统 UHD 视频的几大因素，也做了一些裁减： 超高清：4K、8K高帧率：采集、渲染高动静范畴：HDR宽色域：WCG色深：10bit、12bit色调范畴：Limit、Full低延时RTC 区别于传统直播很重要的一个劣势，便是低延时，不能因为分辨率的晋升影响延时的成果。 2、声网 UHD 视频在声网的业务场景中，次要通过 HFR(high frame rate)、VDR(variable dynamic range) 2 套零碎实现 UHD 视频的反对。 HFR 次要波及的是超高清、高帧率和低延时；VDR 蕴含了高动静范畴、HDR 到 SDR 的转换、宽色域、色深、色调范畴。 ...

视频互动直播是以后比拟热门的玩法，咱们常常见到有PK 连麦、直播答题、一起 KTV、电商直播、互动大班课、视频相亲等。本文将演示如何通过声网视频 SDK 在 iOS 端实现一个视频直播利用。话不多说，咱们开始入手实操。 前提筹备在声网开发者控制台 Console https://console.agora.io 注册声网开发者账号后，须要获取我的项目 AppID。另外，开发者每个月可取得 10000 分钟的收费应用额度，可实现各类实时音视频场景。 一、 通过开源Demo，体验视频直播可能有些人，还不理解咱们要实现的性能最初是怎么的。所以声网在 GitHub上提供一个开源的根底视频直播 Demo 我的项目，在开始开发之前你能够通过该示例我的项目体验视频直播的体验成果。 Demo 源码地址Github Swift 版本：https://github.com/AgoraIO/Basic-Video-Broadcasting/tree/master/OpenLive-iOSGithub Objective-C 版本：https://github.com/AgoraIO/Basic-Video-Broadcasting/tree/master/OpenLive-iOS-Objective-C成果截图 二、 视频直播的技术原理咱们在这里要实现的是视频直播，声网的视频直播能够实现互动成果，所以也常常叫互动直播。你能够了解为是多个用户通过退出同一个频道，实现的音视频的互通，而这个频道的数据，会通过声网的 SD-RTN 实时网络来进行低延时传输的。 须要特地阐明的是，声网互动直播不同于视频直播。视频通话不辨别主播和观众，所有用户都能够发言并看见彼此；而互动直播的用户分为主播和观众，只有主播能够自在发言，且被其余用户看见。 下图展现在 App 中集成声网互动直播的根本工作流程 如上图所示，实现视频直播的步骤如下：获取 Token：当 app 客户端退出频道时，你须要应用 Token 验证用户身份。在测试或生产环境中，从 app 服务器中获取 Token。退出频道：调用 joinChannel 创立并退出频道。应用同一频道名称的 app 客户端默认退出同一频道。频道可了解为专用于传输实时音视频数据的通道。在频道内公布和订阅音视频流：退出频道后，app 客户端均能够在频道内公布和订阅音视频。App 客户端退出频道须要以下信息：App ID：声网后盾随机生成的字符串，用于辨认你的 App，可从声网控制台获取.用户 ID：用户的惟一标识。你须要自行设置用户 ID，并确保它在频道内是惟一的。Token：在测试或生产环境中，app 客户端从你的服务器中获取 Token。在本文介绍的流程中，你能够从可从声网控制台获取获取长期 Token。长期 Token 的有效期为 24 小时。频道名称：用于标识视频直播频道的字符串。三、 开发环境声网 SDK 的兼容性良好，对硬件设施和软件系统的要求不高，开发环境和测试环境满足以下条件即可：• Xcode 9.0或以上版本• 反对语音和视频性能的真机• App 要求反对iOS 8.0或以上版本的iOS设施 以下是本文的开发环境和测试环境：开发环境• macOS 11.6版本• Xcode Version 13.1 ...

视频会议场景始终被认为是 RTC 最具挑战性的场景，一方面，它反抗弱网、低端机适配、降噪、多人上麦等都有极高的要求，对 Web 端的要求也远高于其余场景；另一方面，有很多孵化自会议场景的技术能力最终都被复制到了其余场景。 RTC 在会议场景的独特挑战 为什么说“视频会议”场景对于 RTC 的技术挑战最大？相比于其余行业和场景，“视频会议”中的 RTC 到底独特在哪？ 首先，会议场景的需要是更为简单的，这里举 4 个例子。 「自在开麦」在视频会议中，每一个参会方都能够自由选择是否关上本人的麦克风和摄像头，这是视频会议十分根底的性能，但随着参会人数的减少，技术实现会越发简单。行业内 RTC 个别能够实现五十到上百人的自在开麦，超过了这个人数之后就须要主持人来管制麦位。飞书会议要求咱们反对 1000 个参会方，如果 RTC 反对自在上麦的人数低于 1000，飞书会议的用户应用起来就会十分不不便（尽管所有参会人同时开麦的极其状况比拟少见，然而业务的需要是心愿主持人不要过多“干涉”会议——一直地管制参会人上麦、下麦，把发言能力调配给想发言的人）。假如一场会议里有 1000 个参会方，但只有 50 个麦位能够发言，主持人就要把想谈话的参会人不停地“挪”到这 50 个麦位之中。为了让主持人晓得谁想发言，还须要引入一些沟通机制，整体操作老本十分高。RTC 为什么会限度领有上麦能力的用户数量？如果不限度能够上麦用户的数量，公布/订阅流模型的算法复杂度就是 O（n^2），即，如果有 1000 人参会，就会产生 100 万 音视频流公布/订阅关系。短时间高频的高低麦操作会造成服务端信令风暴，所以上麦人数才须要加以限度。可是事实中，一些大型会议的规模往往会超过 1000 人，甚至达到几千、上万，咱们不该因为技术的限度而就义用户的体验。 「自在布局」视频会议个别会提供多种视图布局类型供参会方抉择，从 11 全屏，到 22 四宫格，33 九宫格，到 77 四十九宫格……这还只是一般的宫格，还会有一些其余布局，比方演讲者模式、侧边栏模式等。画面布局类型的丰盛让每个参会者都能够本人抉择本人喜爱的布局，但这样一来，同一个会上，有开四宫格的，有开九宫格的，有开演讲者模式的，视频发布者就须要决策到底公布什么样的分辨率。如果公布的分辨率过大，对于抉择多宫格的订阅方来说，分辨率就过剩了，同时还造成了极大的上行带宽和设施性能压力——试想一下，一个订阅方同时拉了 49 路 1080P 的视频，什么样的神仙设施和带宽都扛不住；如果公布的分辨率过小，对于全屏或者演讲者模式这样的大窗口来说，清晰度就会有余，用户体验会受到影响。严格来说，每一种布局都应该有一个最合适的分辨率。在多人会议中，如何在无限的带宽与设施性能下，尽量提供灵活多样的画面布局，是一个很大的挑战。 「屏幕共享」这个性能大家比拟容易了解，它的挑战在于，屏幕共享尽管也是视频流，然而它的视频画面特点和咱们摄像头拍摄的视频画面特点是不一样的。简略来说，屏幕共享对画面的要求更清晰，要能看清楚很小的文字，然而对于帧率的要求并不高。对于编码器来说，须要决策什么时候编高帧率的视频，什么时候编低帧率的视频，这是要害。 「Web 入会」很多时候，视频会议软件的用户是“长期用户”，比方用视频会议去加入一场面试，或者是合作伙伴用你们公司的会议软件来加入一场会议…这些“长期用户”可能并不心愿去装置一个会议 App，用 Web 入会就是一个十分好的抉择。然而 Web 对音视频有很多限度，而对视频会议的需要和体验的要求一点都没少，怎么能力把 Web 入会的体验尽量追上 Native 的体验？ 除了业务需要更加简单以外，视频会议场景所面临的环境也更为极其。 过来，开视频会议都是在业余的会议室里开，有很多业余的会议硬件设施来撑持会议体验，环境是绝对比拟好的。但当初，散会环境早已不限于会议室了，会议环境的多样性让 RTC 面临了很多新的挑战。这几年，疫情让咱们居家办公的工夫更多了，在家里开视频会议成为了很广泛的场景；一些常常出差的人——他们往往也是会比拟多的人——在路上、车上、高铁上甚至飞机上通过手机加入视频会议也十分广泛。 会议环境多样性为 RTC 带来的挑战次要能够分为以下四大类： ...

1. 行业现状和技术挑战VR 眼镜的呈现与疾速倒退让“赛博朋克”、“将来世界”不再边远，通过手柄与音视频画面的互动，人们能够在娱乐、健身时领会到一种全面超过现有音视频的“沉迷式”体验。而在体验云游戏、大型全景赛事互动等利用时，如果想放弃这种“身临其境”的“沉迷式”体验，还须要有超高清、高帧率的全景视频源、强劲的传输带宽和超抬头动延时（MTP）。 视频源方面，因 VR 眼镜独有的 FOV（Field of View，视场角，VR 设施的重要指标之一，反映视线广度），4K 全景视频在 VR 眼镜上看起来也就只相当于 540P，所以 8K 分辨率视频的散发也仅仅是超高清画质体验的“入门级需要”。另外，一些游戏、体育赛事等内容的视频对帧率也有很高的要求，达到 120fps 才会有较好的体验；传输方面，要实现对这类「富媒体」的超低延时传输则是个很大的挑战，带宽需达到 150Mbps 以上。 VR 眼镜方面，最近两年 VR 一体机技术倒退迅速，它 All-in-one 的设计脱离了外部设备的连线解放，即开即用，受到了市场的宽泛欢送，有逐步代替 VR 头显之势。不过，“便携”的长处也不可避免地会影响它在解码、渲染、带宽解决上的性能体现，在解决上述 8K@120fps / 150Mbps 的工作时须要进行非凡解决。 以后行业应用的一些解决方案在视频品质/帧率/延时/带宽等各方面做了取舍，导致最终用户体验不太现实：要么是无法忍受的图像品质（低画质），或者是低帧率带来的眩晕（低帧率），又或是无法忍受的延时（高延时），以及巨额的带宽老本（最初一公里全景下发）等，像业内采纳的「直播转码」+ 「CDN 散发链路」计划，一方面它的延时较高，无奈实用于一些互动性较高的场景；另一方面，因为在云端进行了一次转码，对画质会产生肯定的伤害，也会影响用户的“沉迷式”体验。 利用 RTC 传输这类「富媒体」到 VR 一体机能够较好地解决高画质和低延时的问题，但也面临着一些难点。 1.1 8K 和 120 fps 难以兼得上文已提到，在 VR 场景中，像云游戏、大型展会、赛事等内容的视频，「高分辨率」和「高帧率」缺一不可。然而咱们发现，不论是 GPU 还是 VR 一体机的芯片，其编解码能力都无奈兼顾到「8K」和「120 fps」性能体验。咱们应用了 gpu-z 工具和 Nsight 工具剖析了 Nvidia Tesla T4 硬件的编码能力，剖析发现，当视频源达到 8K 分辨率时，单张 Nvidia Tesla T4 最高只能反对到 8K@60fps，且存在性能稳定，个别单张显卡的性能稳固在 8K@50fps。 ...

本文有局部演示音视频请移步 字节跳动技术团队微信 进行观看从视频会议到近程医疗，从连麦开黑到陪伴社交，疫情常态化减速了线下流动线上化，逐步扭转了人们的生产生存形式。其中，音频品质很大水平上影响着通话体验，而噪声又很大水平决定音频品质。比方，居家办公场景，就流传着“居家办公，必有街坊装修”的定律。也是因为装修声会很大水平影响参加效率，所以对居家办公的同学带来了很大的影响。火山引擎 RTC，集成了自研的深度学习降噪计划，来应答游戏、互娱、会议等实时音视频沟通场景下的噪声影响。 让咱们看一下 RTC AI 降噪在会议、游戏、居家场景下的降噪成果比照。 【点击进入原文观看演示音视频】 通过下面的比照成果能够显著看到不同噪声对线上生产、生存场景的影响，以及通过 AI 降噪达到的降噪成果。RTC AI 音频降噪采纳了经典的CRN网络结构【参考文献 1 】作为降噪框架。CRN 网络结构由 Encoder、Recurrent Layer 和 Decoder 三局部组成。这种构造兼具了 CNN 的深层特色抽取能力和递归网络的记忆能力，体现出了比纯 CNN 网络或者纯 GRU 网络更好的降噪能力。 CRN网络结构 在具体落地到产品的过程中，咱们在上述根底模型中，解决了理论场景中呈现的五大问题： 1. 如何应答各种简单的设施，多样的环境 2. 如何在满足低延时条件下，晋升模型成果 3. 如何在满足低计算量条件下，晋升模型成果 4. 如何均衡强降噪和高保真 5. 如何应答对音乐的伤害 通过解决上述问题，能够无效晋升算法的速度、实时性和稳定性，保障在语音无损伤的状况下最大水平地实现噪声克制，晋升实时音视频场景，特地是会议、音乐等简单场景下的互动体验。上面具体开展讲下咱们是别离如何解决上述五大问题的。 一、训练数据增广在咱们理论生存中，降噪算法所须要面临的场景是非常复杂多样的。 拿“会议”场景举例，散会环境的多样性给降噪算法带来了不少挑战：在座位上散会，设施会采集到邻座工位上的说话声，此时咱们冀望算法能去除肯定的背景谈话人声；在会议室中散会，因为谈话人离麦克风的间隔各不相同，此时降噪算法面临着多人声、远距离拾音、混响的难题；如果是在公交、地铁、高铁上散会，除了人声，还会引入车辆信号、报站等声音。还有比方在室内玩游戏应用游戏语音的例子，此时，场景中的噪声除了环境噪声，还有敲击屏幕或键盘、拍桌子等各类噪声，此时就须要降噪算法可能尽量克制足够多类别的噪声。 不仅如此，在不同环境下罕用的设施也是不尽相同的。罕用设施次要能够归类为以下几类： 除了应用场合有所差异，另外一个次要差别点在于不同设施的采集个性不同，并且自带了不同的音频前解决算法，以当初支流的安卓手机为例，往往出厂就自带了强克制降噪算法，但在理论体验中依然存在噪声较多以及人声伤害问题，那么就须要咱们的降噪算法去适配这一类“二手”音频数据，包含须要去笼罩残留状态的噪声数据，以及伤害状态的人声数据。 除此之外，集体外接设备也须要特地小心，比方有线耳机可能会带来高频噪声，而蓝牙耳机可能引入连贯不稳固的问题，并且降噪耳机还携带有额定的音频解决能力。 下为耳机杂音噪声降噪前后的体现。 【点击进入原文观看演示音视频】 咱们将在数据增广过程中着重应答这类问题。将增广中噪声的类型打上标签、对不同的场景应用不同的增广配置文件即可配置不同的训练增广计划。上面简略阐明一下咱们罕用的训练数据增广伎俩。 根本增广伎俩包含： 音量调整：现实生活中采集到的音量大小往往不同，用于模仿不同采集音量的状况；高下通滤波：不同设施的无效频率不同，如蓝牙耳机往往只有 4k 的无效频段；削波模仿：模仿爆音之后的音频成果；房间冲击响应：模仿不同房间下的混响场景；破音信号模仿：减少对丢帧信号的模仿模仿噪声变动：模仿不同噪声环境，如常见场景的噪声叠加和变动；咱们近期针对语音中的啸叫信号着重进行了模仿和解决。通过线下采集，以及线上仿真模仿的形式生成了大量的不同啸叫周期、频率范畴的啸叫语音，并以较低的信噪比交融进原始语音中。 啸叫语音线上模仿 在减少了上述啸叫数据的根底上，咱们又独自对啸叫语音施增强克制的损失函数，打消了大部分的啸叫语音。 【点击进入原文观看演示音视频】 咱们测试了各种设施、各种场景下的 500+ 种噪声，均能实现理想的打消成果。 二、压缩模型计算量实时率 (Real Time Factor) 是掂量算法的 CPU 耗费的指标。实时通信下场景，对模型算力要求极为刻薄。为了让模型在挪动端可晦涩运行，咱们次要在特色压缩、模型精简和引擎减速三个方面进行了改良。 (1) 特色压缩 ...

背景介绍需要背景屏幕共享是视频会议场景应用最宽泛的性能之一，在共享一个 PPT 或者文档的状况下，人们对画面清晰度有着极高的要求，“看不清” 是最容易被用户吐槽的事件；而在共享一个视频素材的状况下，大家又对晦涩度有着极高的要求，“卡顿” 也是最容易被用户吐槽的点。 为了更好地同时满足用户对清晰度和晦涩度的要求，视频会议软件通常会设计两种模式： 清晰模式：主打清晰度，尽量放弃高分辨率（如：最高 4K 原画质），带宽或性能有余的时候，只升高帧率（如：从 30fps -> 5fps），不升高分辨率。晦涩模式：主打晦涩度，尽量晋升帧率（如：最高 30fps），带宽或性能有余的时候，优先升高分辨率（如：从 4K -> 720p），最初才思考降帧率。通常状况下，默认抉择“清晰模式”，当用户要共享视频的时候，须要本人 “手动” 点击勾选上 “晦涩度优先”按钮。个别的做法是，让用户在共享屏幕时手动来勾选“清晰模式”还是“晦涩模式”。但在理论的产品场景中，用户对这两种模式的感知并不是很强烈，不太可能要求用户在共享屏幕的过程中手动来回切换以后的共享模式，对用户体验影响比拟大。 一种简略的计划是依据用户共享内容的文件后缀名来决定是“清晰度优先”还是“晦涩度优先”，比方共享 PPT 时主动切换为“清晰模式”，共享视频时主动切换为“晦涩模式”，然而这样设计会遇到一些问题：比方用户的 PPT 里嵌入了一段视频，在播放这段视频时理当谋求“晦涩度优先”；而如果用户视频其实是一段 PPT 的教学录屏，外面有大量的工夫在播放静止的文字和画面，这时候“晦涩模式”则会导致这些要害内容显得含糊。 RTC 要如何帮忙用户及时调整最佳的共享模式呢？ 需要剖析需要功能分析痛点： 用户分享视频内容须要高帧率，而文字/ppt 须要高清晰度，这两种场景的需要是互相矛盾的，如果须要用户手动勾选相应的共享模式，不仅操作繁琐，也容易漏选、错选。 如何解决： 须要研发一个算法自动识别共享内容，进而确定以后是须要高帧率还是须要高清晰度。这样，在用户想要清晰画面的时候，产品就提供清晰的画面，用户想要晦涩的视频体验时，产品就尽可能地保障屏幕画面的流畅性，用户在无感知的状况下就能取得以后场景的最佳体验。 屏幕共享场景定义清晰度优先的场景 以文字为主，用户更须要看清楚画面的边缘特色，而较少关注其静止特色。 晦涩度优先的场景 以视频内容为主，用户更须要晦涩连贯的动静画面，而较少关注于单帧的清晰度。 技术实现算法原理学界相干成绩概述目前咱们参考了以下两篇参考文献。第一篇是 Jing, Wang & Xuetao, Guan & Yang, Zhang. (2013). An Adaptive Encoding Application Sharing System Based on Remote Display. 266-269. 10.1109/ISDEA.2012.66. 该论文次要假设视频区域的均会以 24-30FPS 的频率发生变化，用 N*N 的 patch 的模式进行检测，从而发现视频区域。 第二篇参考文献是，侯文慧, 王俊峰. 面向云桌面协定的视频区域侦测算法[J]. 计算机利用, 2018, 038(005):1463-1469,1487. ...

背景介绍性能测试是 SDK 发版的重要依据，VolcRTC 的业务方对于性能指标都比拟器重，对于 RTC 准入有明确的准入规范。因而咱们建设了线下的性能自动化测试零碎，测试过程中咱们发现 VolcRTC 的内存占用较高存在较大的优化空间。 某个版本 1v1 语音通话 VolcRTC 1v1 语音通话内存占用： 占用的资源Memory[MB]Android 高端机17.87Android 中端机17.58Android 低端机16.06iOS 高端机6.19iOS 中端机6.52iOS 低端机5.73为了实现内存优化，首先须要理清两个问题： 哪些模块耗费多少内存？如何优化？内存组成在答复以上两个问题之前，咱们先理解下内存的次要组成部分有哪些。 在 Android 零碎上，内存次要分为: 下图红框局部为 VolcRTC 通话过程Java Heap， 从 Java 代码调配的对象；通话过程中 Java 内存的散布曲线，次要呈锯齿状的周期性变动。联合 VolcRTC 的业务特点，能够晓得这部分内存次要在 JNI 调用时调配长期对象，累计到肯定水平后由零碎的 GC 机制回收。 Native Heap， 从 C 或 C++ 代码调配的对象。这部分为 VolcRTC 次要内存占用。 Code， 用于解决代码和资源（如 dex 字节码、通过优化或编译的 dex 代码、.so 库和字体）的内存。VolcRTC 库所占用内存，但不等于动静库的包大小，次要起因在于代码段是按需分页加载的，所以局部代码不会被加载到内存。VolcRTC 是一个动静库，因而 Code 的内存也是在通话过程中次要局部。 优化方向依据上文的初步剖析，能够确定 VolcRTC 的内存占用次要散布在 Native Heap 与 Code 段。因而咱们明确大体的优化方向为： Native 内存优化动静库包体优化内存归因剖析哪些模块如何耗费多少内存？ ...

1.简介最近在学习RTOS，发现国产RTOS居然曾经倒退得这么蓬勃了，之前始终喜爱用freertos，但当初更多得国产物联网操作系统更让我值得期待和尝试了。此次，次要是体验下中国移动旗下得一块轻量级RTOS，通过配置组件，使能GUI模块，顺便跑了下demo，发现惊喜连连，棒棒哒！ OneOS是中国移动针对物联网畛域推出的轻量级操作系统，具备可裁剪、跨平台、低功耗、高平安等特点，反对ARM Cortex-M/R/A、MIPS、RISC-V等支流CPU架构，兼容POSIX、CMSIS等标准接口，反对Micropython语言开发，提供图形化开发工具，可能无效进步开发效率并升高开发成本，帮忙客户开发稳固牢靠、平安易用的物联网利用。 轻量级GUI框架是基于LVGL8.2，是一个C语言编写的收费的开源图形库，提供了用于嵌入式GUI的各种元素。用户能够利用丰盛的图形库资源，在耗费低内存的状况下构建视觉效果丰富多彩的GUI。 Benchmark是LVGL性能测试的测试用例。其在矩形、边框、暗影、文本、图像混合、图像变换、混合模式等各种状况下进行性能测试。测试期间对象的大小和地位应用伪随机数设置，以使得性能测试可反复。 2.测试步骤应用menuconfig配置Benchmark性能测试用例，并应用keil或者gcc编译，并烧写程序到stm32f469-st-disco板子下来。 重启开发板，此时，性能测试将会运行，屏幕顶部显示以后测试步骤的题目和上一步骤的后果。 测试完结后，将创立一个表格来显示测量的FPS值。 3.测试原理FPS的代码测量原理如下： 结构scene_dsc_t构造体，并在其中保留各种场景下的帧率测试所需数据，蕴含：场景名、用于场景测试的回调函数、耗费渲染工夫、刷新次数，以及权重。其中测试场景48个，叠加显示不透明度与齐全不透明度形式，则测试总场景96个。在显示驱动的回调函数 monitor_cb中，实现每一个测试场景的累积渲染工夫和帧数。获取到此数据后，便可失去每秒钟帧数，即FPS=帧数/累积渲染工夫。在lv_demo_benchmark帧率测试入口函数中，调用scene_next_task_cb函数，并在其中调用每一个scene_dsc_t构造体中的场景测试回调函数，对每一个场景进行测试。测试完每一个场景，即可失去每一个场景对应的帧率FPS，通过加权均匀的形式，获取到均匀帧率。测试原理逻辑图如下： 测试范畴包含： 矩形：一般矩形、圆角矩形、圆形边框：一般边框、圆角边框、圆形边框、上边框、左边框、左上边框、左右边框、高低边框暗影：小暗影、小暗影偏移、大暗影、大暗影偏移图形：RGB图形、ARGB图形、chorma keyed图形、indexed图形、alpha only图形、RGB图形着色、ARGB图形着色、chorma keyed图形着色、indexed图形着色、RGB图形旋转、RGB图形平滑旋转、ARGB图形旋转、ARGB图形平滑旋转、RGB图形缩放、RGB图形平滑缩放、ARGB图形缩放、ARGB图形平滑缩放文本：小型文本、中等文本、大型文本、压缩的小型文本、压缩的中等文本、压缩的大型文本线条弧形：一般弧线、粗弧线混合模式：混合模式下的矩形、混合模式下的边框、混合模式下的暗影、混合模式下的图形、混合模式下的线条、混合模式下的弧线、混合模式下的文本对于简略的测试状况，它可能会导致十分高的FPS后果。例如如果在5毫秒内绘制一些简略的矩形，基准测试将显示其为200 FPS。因而，它疏忽了LV_DISP_REFR_PERIOD，它通知LVGL刷新屏幕的频率。换句话说，测试显示了纯渲染工夫的FPS，而不受该宏的限度。 4.后果剖析本轻量级GUI帧率测试应用LVGL官网benchmark，硬件抉择stm32f469-st-disco，Coretex-M4外围。最终通过测试，失去均匀帧率约为80FPS。Opa.speed局部，显示不透明度与齐全不透明度相比的测量速度。 在表格的第一局部“迟缓但常见的状况”中，显示了被视为常见但速度低于20 FPS的状况。上面的All cases局部则显示了所有后果。

新一轮科学技术提高法的订正中提出要健全科技翻新保障措施，欠缺翻新体系，为促成实现高水平科技自立自强提供法治保障。随着国家对信息安全、迷信自主的要求越来越高，音视频技术作为视频会议、应急指挥、办公协同、近程银行等行业场景的根底技术撑持，其独立自主的国产化也越来越重要。 拍乐云作为业内当先的实时音视频云厂商，踊跃拥抱国产化，并基于私有云技术架构劣势，公布了公有云解决方案，不仅可能满足企业对数据安全、自主管控的需要，更以欠缺的部署和运维服务让平台零碎疾速上线实时互动能力，帮忙企业节俭开发成本和利用老本。 稳固牢靠的技术架构拍乐云自研的寰球实时传输减速网络 Pano Backbone，曾经在私有云畛域失去海量用户验证。Pano Backbone 采纳自建 DC+多云+POP 节点的混合计划，通过 BGP 机房和多线机房实现各类小运营商的笼罩，实现寰球 200+ 国家及地区的用户就近接入，端到端最低68毫秒提早。值得一提的是，拍乐云实时音视频服务在稳定性、连通性、并发/负载等方面服务可用率高达 99.95%。 公有云解决方案复用了私有云的全套架构，追随私有云版本迭代，也保留私有云全副性能。在反对私有化部署的同时，用户仍旧能够享受毫秒级时延、寰球笼罩、高链路品质、动静路由、稳固牢靠、实时品质监控、超高并发、扩容缩容等私有云劣势。 全平台全场景服务拍乐云的公有云客户端和私有云应用同一套SDK，仅需通过简略配置，即可将 SDK 链接到企业公有云服务器。同时，计划反对笼罩 iOS、Android、Windows、macOS、Web、Electron、Flutter、React Native、Linux等平台。一个 SDK，四行代码，即可在视频会议、应急指挥、办公协同、近程银行等利用内轻松构建语音通话、视频通话、互动白板、互动直播、云端录制等实时互动能力。 数据罗盘实时监控拍乐云为企业提供私有化部署的音视频服务质量数据可视化平台和多种问题排查工具，企业可自主把握品质数据，及时监控治理，对每一次通话负责。 品质数据包含了端到端的通话质量、网络状况、设施状态等，排查工具包含了端到端数据联动和多端品质比对等，很好地解决了音视频品质数据收集难、数据量过大，不足直观展示形式等痛点，大大晋升开发效率和用户体验。 传输加密，国产化反对在公有部署、信息安全的根底上，拍乐云还反对开启链路加密能力。实时音视频通话的媒体流数据反对应用国密算法SM4或AES256高强度平安加密，来确保数据传输的安全可靠。 SM4分组明码算法是我国自主设计的分组对称明码算法，用于实现数据的加密/解密运算，以保证数据和信息的机密性。要保障一个对称明码算法的安全性的根本条件是其具备足够的密钥长度，SM4算法与AES算法具备雷同的密钥长度分组长度128比特。随着国密算法推广的延长，金融、政企等行业引入SM2、SM3、SM4等国密算法逐渐替换原有的RSA、ECC等国外算法。 此外，拍乐云曾经反对麒麟、统信等多家国产操作系统及国产数据库，实现国产化认证。 轻量灵便的部署反对灵便的部署环境，可依据客户需要部署在物理服务器集群或第三方云平台上，自由选择部署环境。同时，依据不同的用户需要，反对按功能模块抉择部署，提供内外网穿透互通能力，反对在 DMZ 区部署代理服务器。 基于 Pano Backbone 的私有化高可用数据集群的部署模式，轻松横向扩大，扩容缩容。并反对跨地区、跨国多 DC 集群，解决用户散布广、就近接入、跨地区容灾问题；反对配置 POP 减速节点，解决偏远地区、海内地区接入链路长的问题。 此外，针对轻量化用户场景及我的项目疾速 PoC 测试的需要，拍乐云还反对轻量公有云模式，提供 PanoStack 装置工具，可模块化抉择性能，脚本化部署装置，仅需15分钟即可将所有服务装置部署结束。同步装置的 Pano Video Call Demo，提供实时互动全功能，即刻上手测试。 全方位运维反对运维是云服务必不可少的一环，拍乐云将云服务的运维教训和运维工具也全副带到公有云计划中。企业可按需抉择代运维服务，包含全天候近程服务器监控、预警、故障排除服务和性能版本升级服务。 通过 Grafana 提供可视化的运维治理界面，Pano Alert、Pano Metrics、Pano Capacity 和 Pano Central Statistics等图表别离展现运维治理信息。所有服务均可实现近程装置、部署和调试，全程由资深技术支持提供近程一对一参谋服务。 ▲ 集群实时的报警详情 ▲ 虚拟机的根本信息 随着生产互联网红利逐步消退，以及技术与各行业的深刻交融，产业互联网被推上了快车道。对此，拍乐云创始人赵加雨示意，拍乐云将进一步晋升实时音视频赛道的技术钻研、产品适配和产业协同能力，减速国产化代替，实现降本增效，为政企、金融等用户提供更易用、更平安、更牢靠的产品和解决方案。

苹果CEO库克近日发表，因疫情重复，苹果将无限期推延员工重返办公室打算。疫情常态化之下，在线工作、在线学习、在线娱乐也都变得常态化，咱们仿佛开始承受这种“All-in在线”的模式，并对在线互动的体验提出了更高要求。 当咱们想要实现一个校招的网上群面，体验一次在线的剧本杀，加入一次小组PK式的近程培训，经验一场深刻脑暴的在线会议......咱们发现线上的群聊相聚，无奈提供一个咱们真正可能踊跃互动的环境，解决特定场景下沟通的灵活性、私密性、便利性和趣味性。 基于此，拍乐云Pano推出业内首个实时音视频的「分组讨论」凋谢能力，助力企业和开发者在利用中疾速还原线下实在分组互动场景，在同一个频道内开启多个分组，在主会场和分组之间做到毫秒级无感切换，让在线群聊互动的模式更灵便、更多元。 PART 01 音视频分组无感切换，真正的会中会目前市面上短少成熟无效的分组讨论PaaS能力，开发者想要实现这一场景时，只能是在主会场外创立多个新的会议来模仿分组。当主持人想要参加到每个分组时，则须要不停地来回切换，否则在分组中的参会人就听不到主持人的发言；完结探讨时，也只能通过其余路径，如微信群聊的文字音讯等，收回指令让参会人回到主会场中。 分组讨论能力尽管在视频会议SaaS软件中比拟常见，但在切换的顺滑度和玩法的灵活性上还没有带来十分好的用户体验，比方在切换过程中音视频有秒级的中断；主会场和分组是齐全隔离的，主持人在不退出分组的状况下，无奈将语音同步到“所有分组”。 而拍乐云的分组讨论是真正的会中会分组，能够实现毫秒级的退出分组讨论或来到分组回到主会场，音视频无间断、不卡顿，切换起来也很轻量、顺滑，无需重复退出和退出会议。利用分组讨论能够衍生出多种玩法，基于业务场景灵便配置。各个分组之间互相隔离，独立探讨，每个小组都能够同时接管主持人的音视频。主持人能够依据场景调配各组人员，设置探讨工夫，在主会场分组面板观看各分组讨论进度，也能够毫秒级退出不同分组参加到探讨中。 拍乐云的分组讨论能力具备如下劣势： 灵活性：主会场成员能够抉择退出任意分组，参加或旁听小组讨论；分组成员也能够抉择是否承受主会场的音视频；便利性：防止重复加会和退出会议，用户无需来回切换就能够实现分组讨论的场景，主持人权限也更多；私密性：每个小组内探讨的任何信息仅在小组内可见，实用于小组PK和相亲私聊等场景；互动性：有助于小组成员独立思考，小范畴参加探讨，进步成员的主观能动性，回绝摸鱼和躺平；趣味性：减少在线剧本杀、语聊、相亲、游戏直播中的玩家体验和观众体验，发明隔离的交换环境，让泛娱乐玩法别具匠心。PART 02 在丰盛的场景中晋升互动效率和体验视频会议一般模式：散会成员在一个会议中个体探讨，一个工夫只能探讨一个议题，如果须要分组讨论时，相干成员须要退出不同会议实现。 分组模式：能够在一个会议中实现会中会，灵便创立、退出、删除分组。退出分组的成员能够私密对话，组内对话不会被组外听到，不便会议中的分组讨论、PK等场景。开启分组讨论更能激发散会成员的积极性，让大家聚焦议题进行头脑风暴，大幅提高会议效率和产出。同时，主持人能够留在主会场，当须要告诉成员时，能够抉择播送音讯给各分组，也能够抉择间接将音频或音视频同步给各分组。 娱乐社交云相亲、在线剧本杀、多人语音聊天室中，能够基于特定场景分组，打造一个兼顾群聊和私聊的环境，无缝切换。以多人视频相亲为例， 一般模式：有动向的男女嘉宾在主会场个体互动，当发现心仪对象后可能会通过IM沟通获取联系方式，在个体相亲完结后再独自视频。 分组模式：男女嘉宾能够在进行个体互动的同时，邀请心仪对象退出私密分组进行悄悄话。此时，私密模式内两人的声音不会被其余嘉宾和直播间观众听到，但观众仍然能够看到视频画面，这很好地解决了相亲过程中短少私密互动环节的痛点，减少了嘉宾的沉迷感，更容易促成心动配对。观众也能从这个过程中取得更好的趣味性，踊跃上麦参加互动，把线上版“非诚勿扰”打造得更极致。 互动游戏一般模式：在游戏直播场景中，不同战队退出不同会议进行语音互动，主播负责解说游戏并直播游戏全程。如有须要，则通过导播台(硬件)将战队会议声音转给主播。 分组模式：所有玩家和主播退出一个主会场，依据场景需要，建设不同分组，两个战队在互不烦扰的环境下各自商议战术，主播能够随时退出战队分组，直播端观众能够任意抉择战队分组或主播主会场抉择收听，既有利于游戏氛围的衬托，又能让观众更有沉迷感。 面试招聘一般模式：线上校招，面试官只能在面试前选定好候选人，依据场景需要创立一对一或多对多的面试视频会议。个别多对多的面试效率高，但无奈充沛沟通。 分组模式：面试官将所有候选人退出一个面试视频会议，而后依据需要进行分组，并按需设置探讨的工夫。过程中面试官毫秒级退出不同的组内旁观候选人的轻微体现。当小组讨论工夫完结，所有人回到主会场，各组代表分享观点，一套顺畅的流程下来，面试官能更好地基于过程的察看，筛选出优良的候选人。 在线课堂一般模式：线上大班课，一个老师带多个学生，学生和学生之间无奈进行小组讨论和PK，和线下课堂相比，教学模式上会有所限度。 分组模式：退出分组讨论、组内PK、跨组PK等玩法，能够轻松实现学生和学生，以及学生和老师之间的分组互动，丰盛了线上课堂的教学模式，晋升了学生的参与感和积极性，牢牢抓住注意力，最终晋升教学效果。基于分组讨论SDK，能够疾速实现超级小班场景，一个主讲老师笼罩多个小班，给学生小班课的互动感，兼顾学生的体验和老师的产能。 企业培训一般模式：企业的内外线上培训场景中，更多的是讲师的单方面输入，因为线上模式的限度，很难进行多元化的互动交换。 分组模式：讲师能够将学员随机分组讨论，实现不同的场景工作，既有组内teamwork的分工和探讨，又有跨组的PK，拓展了线上培训的场景短板，有助于集思广益，产出不同的解决方案与答案。过程中，讲师能够随时退出某一分组，也能够随时切换学员的状态，灵便设置工夫开启探讨，或告诉完结探讨，回到主会场中。 “咱们的初心是打造一个极致的音视频技术平台，将更多行业场景中的互动环节搬到线上。通过「分组讨论」实现大会小会随便组合，大会小会互相隔离，或者在大会外面听小会、小会外面听大会，十分地轻量、灵便。咱们在用技术的力量让企业和开发者实现“音视频自在”，在更多的利用场景里想怎么玩就怎么玩。“——拍乐云创始人 赵加雨 https://www.bilibili.com/vide... 目前，拍乐云分组讨论SDK已上线，能够疾速在您的利用中联合具体业务场景实现。如果您想要进一步体验产品，能够下载PVC Demo（Demo下载_SDK下载-拍乐云 Pano），举荐应用macOS & Windows端。

近日，RTSCon2021开发者沙龙以线上的形式顺利举办。拍乐云服务端专家沈伟锋受邀参会，并带来了《拍乐云交融语音通话技术实际》主题演讲，分享了交融语音通话的需要背景、技术根底、架构搭建和技术实际，赢得参会嘉宾的统一好评。以下为演讲实录： PART 01 交融语音通话需要背景网络覆盖不全从贝尔1876年创造电话，到1965年5月，美国贝尔零碎的1号电子交换机（模仿）问世，再到1970年，法国开明的第一部程控数字交换机E10，之后，电话网络在全世界范畴内失去了大规模的倒退。而因特网（也叫互联网）起源于1969年美国军方正式启动的阿帕网（“ARPAnet”），到1989年开始才从军用转向民用，尔后，因特网开始大规模地倒退起来。事实上，因特网构建的根底网络（物理网络）很大一部分是基于PSTN的电路替换网络。正是因为这个历史起因，PSTN网络的覆盖率要远高于因特网，在我国的一些偏僻山区，尤其是人迹稀少的中央，PSTN网络的覆盖率都是要好于互联网的。 应用老本对于使用者来说，如果只是呼入，PSTN个别都是收费，而基于分组数据的网络，流量的费用不论是上行的流量或上行的流量都不是收费的。在不同的国家，流量的费用从小于一美元/1G到几十美元/1G不等，还是十分低廉的，以下是局部国家2020年1GB（挪动数据）均匀费用：中国-0.61美元/GB墨西哥-4.77美元/GB新西兰-6.06美元/GB美国-12美元/GB加拿大-12.55美元/GB 应用的便利性应用电话的时候不须要任何下载，个别也不须要任何设置。但基于互联网的App，个别须要提前下载App，并设置相应的环境：比方摄像头、麦克风、扬声器(耳机)、网络等。在理论的应用中常常会碰到网络不通、网络不佳、或听不到声音等问题，这些问题个别须要具备肯定的专业知识的人才能解决。 特定用户群体对于一些特定的人群，比方老年人，他们接触互联网、智能手机、电脑等比拟少，尤其是宽广农村的老年人。对于这样的人群，应用电话必定会比应用App更容易上手。 用户惯性目前，有一些互联网的利用零碎，是从传统的呼叫核心倒退过去的，他们的系统核心曾经从过来的呼叫核心演变到了基于互联网RTC的零碎，这些零碎所服务的新用户群体能够是齐全基于互联网App的，但对于一些曾经习惯于电话应用该零碎的老用户群体，会须要一个应用习惯的转换过程，不然这样的客户群体有可能会缓缓散失。 PART 02 PSTN交融RTC的技术根底 PSTNPSTN ( Public Switched Telephone Network )：公共替换电话网络。PSTN是一种以模仿技术为根底的电路替换网络。因特网/互联网因特网（Internet）是由广域网上泛滥的物理网络（子网）相互连接而成一个逻辑网络，也叫互联网。它是基于一些独特的协定，并通过泛滥交换机/路由器实现分组数据交换，多路复用等技术连贯而成的网络。PSTN和互联网之间关系PSTN能够是互联网7层网络中的物理层。在泛滥的广域网互连技术中，基于PSTN进行互连所要求的通信费用最低，但同时PSTN的网络资源利用率也比拟低。IMSIMS(IP Multimedia Subsystem)：网际协议多媒体子系统，是由朗讯（Lucent）提出的下一代通信网（NGN）实现大交融计划的网络架构，被认为是下一代网络的核心技术。IMS的指标不仅是在现网根底上提供新的业务，而且它还要能提供当初以及将来因特网上可能承载的所有的业务。SIPSIP(Session Initialization Protocol)：会话初始化协定。IMS零碎采纳SIP协定进行端到端的呼叫管制。SDPSDP(Session Description Protocol)：会话形容协定。SIP协定应用SDP来形容如何设置和初始化会话及会话中应用到的多媒体，次要包含会话者信息，会话工夫，网络传输方式，媒体信息等等。RTP/RTCPRTP（Real-time Transport Protocol）实时传输协定，定义了在互联网上传输多媒体时的规范数据包格局。RTCP（Real-time Transport Control Protocol）实时传输控制协议，次要用于QoS反馈和同步媒体流。 PART 03 交融语音通话技术实际咱们来看看电话呼入的一个根本流程：首先用户侧应用电话拨入会议专用号码，通过IMS零碎承载的SIP呼入Pano服务，通过Pano前置四层负载均衡器，进入其中一个可用的Pano SIP LB。Pano SIP LB调配一个可用的SIP2RTC Gateway。SIP2RTC Gateway发动re-Invite，并开始IVR交互入会过程，同时申请Pano Service LB调配RTC媒体服务，并退出媒体服务。最初SIP2RTC Gateway桥接两边的会话，并做相应的协定转换和媒体转码合流。 基于此，交融语音通话就须要具备如下技术个性：服务的高可用SIP LB Active-Standby模式避免单节点故障，可演进到Active-Active模式的SIP LB池来反对程度扩大；SIP2RTC Gateway池可程度扩大，反对高并发；SIP LB/SIP2RTC Gateway任何一个节点生效后，零碎会主动疾速进行会话迁徙，保障通话不中断；加持Pano RTC媒体服务的高可用高并发。欠缺的会控能力锁住会议、静音参会者、移除参会者、分组讨论、查问/敞开会议等多运营商多线路负载平衡得益于IMS对后端运营商的各种网络的交融，咱们能够用对立的接口对接所有运营商的网络。PSTN网络是基于电路替换的网络，而且是对线路独占的，同一个号码能反对的线路资源是无限的，本零碎通过多线路资源负载平衡达到高并发的需要。IVR个性化定制会议场景的IVR次要包含：入会疏导，信息或谬误提醒等，本零碎反对对所有这些交互IVR的定制。 再来说说咱们在过程中遇到了哪些坑。 NAT keepalive, 导致SIP(over UDP) NAT没有被转换 这个问题在SIP over TCP的状况下并不存在，只有在SIP over UDP时才会碰到。为了能达到正确的目的地及响应能按原路正确的返回，SIP（over UDP）会话在通过NAT的时候，会在via头中增加路由信息，还会改写request-line的指标地址。这种应用层的NAT转换在不同的设施上的实现形式各不相同，尤其是软件实现的NAT，有些NAT会主动依据UDP会话的第一个包是不是SIP协定来主动标记是否须要做SIP的NAT转换。一开始咱们是通过软终端(linephone)模仿电话呼入来测试的，然而常常发现过一段时间，SIP的NAT转换莫名其妙的没有了。起初察觉，这个软终端会定期发送NAT keepalive包，来做UDP的保活，防止NAT上的UDP五元组的对应关系被删除，然而当咱们的PC通过一段时间的休眠状态后，在激活的时候，NAT上的这个五元组对应关系曾经被删除，并且这个软终端在激活的时候首先收回了NAT keepalive，导致NAT认为这个“新”的UDP会话不是SIP会话，最终导致SIP NAT转换没有被启动。 乱序的容错解决(sip over UDP) 这个问题是因为UDP的乱序导致后续的re-Invite先于后面的 200 OK的响应。对于一个容错解决好的零碎，比拟适合的做法是当收到新的re-Invite的时候，应该容许进入新的从新协商的阶段，而不是简略的回绝，当老的200 OK达到的时候间接抛弃就能够了。而后，在咱们对接的过程中发现，这种状况下，re-Invite会被间接回绝掉。解决这个问题的最简略的方法是把SIP over UDP改成SIP over TCP，或者对re-Invite做适当的提早解决即可。 ...

2021年12月，拍乐云Pano正式推出“交融语音通话”产品，实现了VoIP和PSTN的互联互通，一个SDK连贯所有语音通话场景，反对多平台集成，跨不同的终端，用户可按需抉择接入形式，享受高质量、高稳固的语音通话体验。交融语音通话很好地解决了网络语音通话中产生的不可抗力弱网问题，同时在一些传统语音外呼场景下，实现更好的语音计划交融，进而服务更多行业下的实时互动场景提供，助力企业实现降本增效。 PART 01 交融语音通话利用场景随着实时音视频在会议、社交、医疗、金融、IoT等行业的利用普及率回升，实时语音技术在一直迭代与成熟，这其中就包含了VoIP和PSTN。 VoIP指Voice over IP，IP指互联网，VoIP能够了解为基于网络的语音通话；而PSTN是基于运营商的电话语音，也就是咱们当初打电话所应用的电话网络。VoIP音质更好老本更低，然而VoIP语音通话依赖于互联网，当碰到极限弱网或没有网络时，就没方法进行VoIP语音通话了，PSTN通话更加稳固，然而老本更高。 拍乐云交融语音通话产品曾经笼罩面试、医疗、金融、会议和IoT五大场景，并有着更多的利用后劲，通过接入SDK就能实现。 视频会议 在视频会议中参会人网络多种多样，当会议中某一方或某几方遇到弱网时，能够应用PSTN形式接入会议，其余网络失常的参会方应用VoIP网络语音通话，从而让会议顺利进行。交融语音通话还提供欠缺的会控性能（静音、禁麦、踢人、监控、录制等）。 近程面试在近程面试场景中，交融语音通话能够更好地解决因为网络品质不佳等不可抗因素导致的通话丢包，晋升用户体验。面试官与候选人一对一进行语音通话，当一方呈现了弱网状况，零碎会检测通话质量并提醒能够通过PSTN呼叫持续面试，保障面试流程的顺畅。近程医疗交融语音通话在在线问诊、心理咨询、家庭陪护等医疗场景也有不少的利用，在晋升服务的同时，还能够帮忙升高技术老本。传统的专线电话老本高，且双向收费，而交融语音通话会优先走低成本的VoIP，当产生弱网时再切换至PSTN，只收一路费用。金融营销在金融行业中，经常会通过呼叫核心进行理财产品的营销，但SaaS零碎的坐席老本高。接入拍乐云交融语音通话，能够实现通过Pano SDK间接呼叫金融机构客服核心，同时反对录音，对服务进行质检，无效晋升客服服务效率。智能硬件在智能门禁、智能陪伴机器人等场景中，实现硬件设施与落地电话的互通也是刚需。接入拍乐云交融语音通话，能够实现挪动设施和智能硬件互相语音通话。比方，当客人不在家时，访客通过门禁设施能够间接给客人打电话，客人能够在手机上接听。 PART 02 交融语音通话产品劣势拍乐云交融语音通话既能解决VoIP弱网通话问题，提供一站式语音计划，又能与传统外呼SIP/PSTN能力买通，服务更多场景，它的劣势能够概括为： 跨平台互联互通 SDK反对VoIP+PSTN互通，提供了不同协定间的互转模块，同时涵盖Windows端、Mac端、Android端、iOS端、Web端、小程序端等支流零碎，全平台反对。 高质量、高稳固 通过智能3A算法保障高清音质，通过多种弱网反抗策略和全球化部署的减速网络Pano Backbone确保语音通话的低时延和高晦涩，上下行抗丢包率70%。提供高可用的服务保障，故障主动复原，通话稳固不中断。 简略易用、降本增效 通过一个Pano SDK就能够实现所有场景下的语音需要，省去和运营商对接的繁琐工作和开发周期。同时，交融语音通话可依据参会者网络状况按需抉择VoIP或PSTN形式，相比传统电话语音，更加节俭经营老本。 PART 03 交融语音通话技术架构Pano PSTN网关服务端架构 PSTN通过长时间的倒退，目前演进到了IMS网络架构，能够把专用网络的信令流和数据流通过SIP_TRUNK的形式在Internet下面传输，这是VoIP和PSTN互通的根底。接下来介绍下次要的服务和模块。最上层是Load Controller，次要负责SIP信令的接入和负载平衡。反对和PSTN的SIP中继对接，这是目前运营商次要采纳的对接形式。Load Controller会依据PSTN Gateway的负载，将通话调配到适合的PSTN Gateway上（为了节俭带宽，在会议曾经存在的状况下会间接调配到同一台PSTN Gateway上）。PSTN Gateway负责SIP协定和Pano外部协定的转换，以及将相应的码流混音后和运营商媒体Server相通。PSTN Gateway次要有两大模块： 编解码模块：目前各大运营商提供的PSTN的SIP中继对接形式，仅反对G711A、G711U等编码，采样率为8K；而VoIP罕用的是OPUS编码，采样率个别为48k，所以须要解决音视频编解码和转码。MCU模块：因为手机端不反对接管多流，所以咱们会在服务端混音后将一路码流发送给PSTN。PART 04 总结在簇新的万物互联时代，实时音视频互动成为了泛滥行业必不可少的基础设施，施展着越来越重要的价值。 拍乐云创始人赵加雨示意：“拍乐云推出“交融语音通话”产品，通过一个SDK满足所有语音通话场景需要，这标记着拍乐云在产品上的继续翻新和场景上的一直摸索。咱们心愿通过技术重塑人与人的连贯、人与物的连贯，让信息传递更高效。”

中国银行业协会在往年公布的《中国银行业客服核心与近程银行倒退报告（2020）》中指出，随着数字化融入经济生存的方方面面，我国银行业正在疾速迭代降级。用户对银行的数字化服务也提出了更高的要求：一是从被动承受现有服务转向被动要求个性化服务，二是从繁多性能服务转向端到端一体化服务，三是从特定渠道服务转向综合化一站式服务。 银行业为了适应用户行为习惯的转变，开始积极探索业务翻新；同时，传统网点的经营老本继续增高，但价值发明却跟不上投入，因而各银行纷纷将服务从线下转移到线上，将客服核心和营业网点充沛对接网上银行、手机银行、小程序等互联网渠道，并推出以音视频能力为根底的近程视频银行，及时满足了用户的多样化金融需要，并无效升高了经营老本和危险。 PART 01 什么是近程视频银行？近程视频银行是以实时音视频技术为外围的，提供业务营销、业务征询、业务办理、业务留痕等服务，同时通过与生物辨认、AI技术的联合满足监管合规要求，为客户提供方便快捷的零接触线上金融服务，以全天候、全渠道、无接触、有温度的服务反对银行开启数字化经营新模式。 业务营销 为了适应金融行业线上化发展新趋势，营销渠道逐渐转向挪动端，视频直播开始领跑金融科技改革，并被银行业视为线上营销的“新宠”。视频直播围绕金融行业和金融机构从业人员的痛点与需要，反对通过近程视频、PPT等多媒体模式向客户介绍各类银行产品，在商品营销、信用卡营销、理财营销、大咖直播等多类利用场景失去广泛应用，实现复合营销，高效获客。 视频营业厅 银行的传统线下业务征询和业务办理模式，包含客户到网点、客户经理上门、线上预授信线下审批等，都会导致客户体验的降落，也无奈满足业务的实时性。通过视频营业厅赋能线上业务办理，以“零接触“、“零差异”的形式提供金融服务，是降本增效和业务转型的无效动作。此外，银行的传统客服须要客户在银行网点或通过电话拨打取得客服服务。而视频客服通过手机银行、网上银行、微信银行等渠道模式提供服务能力，以客户为核心，建设双向触达模式，满足多种业务场景需要，塑造一个被动服务、高效经营的良好企业形象。 视频双录 视频双录是将银行业每笔产品的销售过程同步录音录像，让业务过程可控且可回溯质检，满足金融监管与风控合规的要求。在产品销售过程中，有三个关键环节：营销推介、相干危险和要害信息提醒、消费者确认和反馈。出于反欺诈、防篡改、防抵赖等目标，录音录像要求清晰残缺地记录这些关键环节，因而双录平台的搭建需要成为大势所趋。 PART 02 拍乐云视频银行解决方案在一站式视频银行解决方案中，拍乐云为银行业和金融IT合作伙伴提供了多项音视频能力，反对VTM/PC/APP/H5/小程序等全渠道接入，突破了网点服务半径的壁垒和服务时长的限度，解决了服务触达的痛点。在部署模式上，拍乐云提供私有云、公有云、混合云三种架构，加密算法反对国密计划，能够做到数据系统安全可靠、云端资源弹性可伸缩、智能运维等个性，保障银行业的零碎稳固运行，完全符合金融行业监管要求。 拍乐云视频银行业务全景图 多项音视频能力，让体验降级 拍乐云为近程银行提供多项音视频能力，无缝对接原有业务零碎流程，能力包含：高清音视频通话、屏幕共享、视频标注、近程帮助、视频流加密、多路音视频输出、互动白板、虚构背景、智能虚拟人、文字音讯等，将深刻优化在视频客服、视频面签、信用卡激活、理财风评、产品营销、视频审核等金融场景中的服务效率和用户体验。 视频标注 虚构背景 智能虚拟人 视频双录，全面合规又高效 依照监管要求，银行业对公开户、挪动开卡、金融信贷、理财产品销售过程都被要求同步录音录像，实现业务留痕。拍乐云为近程银行提供单画面录制、多画面合成录制，通过实时抓拍、电子签名、工夫戳、视频水印等性能组件，全面撑持业务场景利用，笼罩线上线下所有用户群体，买通多方痛点，保障合规且高效。 实时抓拍 电子签名 PART 03 为金融数字化注入“新生机”作为新一代实时音视频领军者，拍乐云积极探索音视频技术在金融行业的更广泛应用和最佳实际，打造集业务征询、业务办理、业务营销、业务留痕等为一体的近程视频银行解决方案，在兼顾金融监管的合规与平安的根底上，全面推动金融业业务办理新门路、渠道改革新模式、客户服务新体验的降级转变。将来，拍乐云将以更多金融业务场景为依靠，继续打磨场景技术利用，并与金融合作伙伴交融共建，强强联合，为金融客户提供便捷、智能的场景化服务，实现银行业务效率和服务体验的极大晋升，在更广畛域、更深层次上摸索金融数字化的美好未来。

前言RTC（实时音视频通信）技术的疾速倒退，助力了直播、短视频等互动娱乐模式的遍及；在寰球疫情继续蔓延的态势下，云会议需要出现爆发式增长，进一步推动了 RTC 行业的疾速倒退。为了给客户提供稳固牢靠的服务，网络系统方面须要一直晋升频道连通率，升高会议过程中的断流率，加强抗弱网能力；视频方面须要晋升视频清晰度，升高视频卡顿率等，音频方面在谋求端到端 MOS 的同时，也要重点关注音频 3A 算法的成果，这些都是各厂家必须修炼的 “内功”，也是最终积淀下来的外围竞争力。本文将重点论述硬件设施采集的音频品质对 RTC 端到端音频体验的重要性。 采集品质不佳，会有什么影响？在 RTC 架构中，端到端的音频信号处理流程大抵如下图，上行别离通过了音频信号的采集，音频 3A（AEC: 回声打消、ANS: 自适应降噪和 AGC: 自动增益管制）和编码；上行别离通过丢包复原，解码，混音和播放。 端到端的音频信号处理流程 不难看出，音频信号通过模数转换，再通过设施集成的音频信号处理芯片，最初才传递给 RTC SDK。因为硬件厂商的不同，音频采集解决方案参差不齐，因而采集到的音频品质的好坏间接影响着 3A 算法拿到的生产资料的可用性，同时也决定这最终用户接管到音频信号品质的下限。依据理论工作中遇到的音频问题，因为设施采集引起的问题根本能够演绎为如下几类： 举几个例子： （1）采集异样采集异样次要体现在频谱 “含糊”，重大的会导致无奈听懂语义，影响失常交换。如下语谱图。 另外，采集异样后，播放的信号被麦克风采集后也会体现出异样，从而引起重大的非线性失真，影响回声打消成果，如下图。 (2) 采集抖动常见的就是采集丢数据，听感上会听到有很多高频噪点（下图为上图中噪点放大后的部分图），重大的会影响 AEC 算法中对延时预计准确性和远近端非因果问题，重大的会导致漏回声。 （3）爆音和音量小问题采集爆音问题次要产生在 PC，也是 PC 端设施最应该防止的问题，影响较大，除了截顶导致的频谱失真之外，重大的非线性失真会影响回声打消成果。爆音问题须要 AGC 算法通过自适应调节 PC 端模仿增益以及麦克风增强解决。 （4）频谱缺失频谱缺失次要是硬件回调的音频采样率与理论的频谱散布不统一，即便编码器给到很高的编码码率，听感上也没有高音质的成果，如下图，采集信号采样率为 48kHz，然而频谱下限却只有 8k。 改善采集音质，硬件层面咱们能做什么？具备 RTC 能力的硬件设施早已浸透咱们生存的方方面面，常见的如挪动端手机和 PC，当初甚至连儿童电话手表，天猫精灵以及各种高端的指纹密码锁等设施都反对了 RTC。然而，设施的多样性间接决定这采集能力的差异性，抛开声学元器件设计差别这一因素，就 Android 端而言，芯片和软件系统的差别使得同一品牌的手机，也没方法用同一种配置适配所有型号的手机。 另外，当初绝大多数的挪动端设施都自带硬件音频信号处理（后称硬件 3A）能力，不同芯片成果方面也是千差万别的同时，更重大的是通过硬件解决的音频信号频谱往往会有缺失，如开启硬件 3A 后回调到 RTC SDK 的音频信号频谱下限仅反对到 8k，相当于 16kHz 采样的音频信号，尤其在娱乐方面根本无法满足咱们对高音质的谋求。因而，做好硬件层的适配工作，是保障 RTC 高质量音频体验的根底。 Android 端（1）须要搞清楚 javaaudioclass 和 opensles 这两种模式的差别，以及各自须要适配的参数，把握敞开硬件 3A 的配置。 ...

提到社交产品，不可避免的会波及元宇宙方向。那么元宇宙间隔落地还有哪些问题？解决这些问题是否会是新的产品机会？社交作为元宇宙赛道的细分畛域之一，如何在将来几年向元宇宙产品倒退，打造产品新体验，实现用户增长？本文整顿自拍乐云行业解决方案专家奚振在量江湖、拍乐云主办的《社交产品如何引爆海内指标市场》线上研讨会上的演讲，次要分享了对元宇宙的了解、对Facebook和Soul的剖析，介绍了社交产品如何向元宇宙方向倒退。 PART 01 什么是元宇宙？首先咱们来拆解一下元宇宙，这里要插入一个免责申明，目前对于元宇宙有很多的不同定义和深刻的解释，这里只探讨最根本的基于XR的元宇宙。 回归实质，元宇宙的诞生次要是因为用户终端产生了变动。3-5年内，元宇宙还是一个雏形落地的阶段，相似于挪动互联网的晚期，你能够在挪动设施上体验局部原生利用，浏览适配得不好的PC网页，然而整体体验并不好。挪动设施也不能齐全代替PC电脑，然而当初绝大部分用户只须要手机就能够满足全副需要。 元宇宙的晚期也会存在一个十分长的过渡阶段，在这个阶段你能够在所有计算平台上拜访元宇宙，包含VR、AR，还有PC，也包含挪动设施、游戏机，用来解决XR设施遍及不够的问题。 元宇宙是临场感更强的下一代互联网，而VR是现阶段能提供最强临场感的显示方式，所以VR是目前最适宜元宇宙的显示方式，相应的应用VR设施的用户会取得更多的体验，从而刺激设施的遍及。这可能须要十分多的景象级、杀手级利用来逐步实现。 参考目前的挪动互联网现状，就能够看到局部元宇宙晚期的图谱。 元宇宙还是构建在目前的互联网之上的，把握了硬件入口，就很可能把握元宇宙平台。大家能够拿出本人的手机看看，有哪些是手机上必不可少的呢，比方利用商店、还有信息流门户（新闻、抖音、微博）、搜寻，宇宙这么大，咱们还是要通过这些来触达咱们想看到的。 根底社交就包含电话、短信、微信。个人身份，这里可能会有一个比拟大的辨别，当初很多人也会在互联网上构建本人的马甲，然而并不是必须的。将来这个可能就是必须的了，你的个人身份会蕴含你的虚构形象、数字资产等等。 在这之上，才会有各种其余不同的利用，包含：游戏、娱乐、社交、购物、办公、会议等等。因为设施变动了，应用VR\AR了，应用文本输出就没那么不便了。所以所有的利用都得兼容这些能力，包含虚构形象、实时音视频通信、动作辨认、语音辨认。 什么样的公司有机会成为元宇宙平台？依照以后挪动互联网时代的现状揣测，有以下可能： 硬件设施入口，比方苹果、谷歌、微软； 搜寻平台、利用商店等门户入口； 领有大量用户的社交平台。 PART 02 Facebook的元宇宙布局Facebook大家都晓得，是美国社交巨头，它改名叫Meta，All in元宇宙的新闻震惊了一大片人。所以咱们拆解一下，看看它到底在元宇宙做了哪些布局。 Oculus Quest 2，最近几天有新闻说高通公布音讯称这个设施曾经有1000万部的出货量了，其中装备的高通XR2芯片，19年12月公布，性能相当于高通骁龙865，也就是20年的安卓旗舰机程度。在20年初，我买了一款小米10pro手机，用的是865的芯片，价格是5999元，应用同样芯片的入门机小米10价格大略是4000元。可见299美元，也就是2000人民币的VR硬件设施卖的有多便宜，所以它的模式次要靠生态赚钱，特地是游戏。 Project Cambria将是一款价格更高的高端设施，装备了所有最新的先进技术，而Project Nazare将会是将来的一种可能。 Horizon Home：有了硬件，做一个入口平台是很天然的事件，包含利用商店Quest Store也不出所料。Slack、Dropbox、Facebook和Instagram等服务将很快在VR中作为2D面板利用程序运行。 Facebook账号体系：必须应用。 Messenger：自带的社交工具，将会以语音作为次要社交形式。 数字货币Diem的开创会员领有20多亿寰球用户根底，一旦取得批准，可能迅速倒退成为全球性的超主权数字货币，有可能重构寰球的货币体系和金融体系。 Horizon Workroom：办公合作平台，它不仅有VR端，同时还有通用端，能够用一般游览器退出。次要提供的是在虚拟空间里的视频会议和白板合作能力。 Horizon Worlds：VR世界编辑器，用户能够创立本人的VR世界或者小游戏。 游戏是重要的现金流，吸引用户购买并继续应用VR设施；健身其实相似于游戏；教育是将来布局。 Quest for Business：仅限企业的登录，可让员工合作并拜访生产力应用程序，例如 Horizon Workrooms 和 Gravity Sketch，而无需应用集体 Facebook 帐户。Quest for Business 还将反对拜访企业工作所需的专用平台性能，例如帐户治理、IDP 和 SSO 集成、第三方挪动设施治理等。 Presence Platform：这是Meta凋谢的AR/VR开放平台。特地阐明一下，该平台提供了罕用手势库和语音SDK，以便手势和语音成为最直观的输出办法。 PART 03 Soul为什么是元宇宙社交？说完Facebook，咱们再看一个国内的社交产品案例——Soul。它也自称是年轻人的社交元宇宙，很多人很奇怪，没有任何VR产品为什么敢称为社交元宇宙？这外面必定是有一套能自洽的逻辑的。因为Soul曾经具备了入驻元宇宙平台，成为一个元宇宙产品的外围能力：虚构身份、虚构资产+实时音视频互动形式+“网友社交关系”。当前须要入驻VR平台的时候，适配一下，上个架就行了。 剖析发现，Soul在虚构身份这块是做的十分深刻的。通过捏脸、灵魂测试、声音名片、引力签（标签）、主页、霎时、发现等功能设计和展现本人的虚构身份，也就是人设。任何人只有关上你的主页就能晓得你是什么样的人，或者晓得你想让他人认为你是什么人。这是十分重要的，因为很多人都想在元宇宙开启本人的第二人生。 同时基于用户输出的这些信息，Soul会通过AI算法来举荐用户与信息，帮忙用户找到匹配的人，通过文字、语音、视频等形式造成高质量的互动。这些是一对一社交，另外Soul也在扩大多人的社交形式，包含群聊派对、Soul狼人、异梦邦之夜，这些都是通过实时音频的形式来进行沟通互动的。 对于这种社交关系，Soul是这么形容的：每个用户都能在“元宇宙”建设新的社交关系，这种社交不再局限于物理地位，不再以建设浅层社交关系为目标，也不再是线下社交关系的映射，这种更高维度的社交关系将有助于用户消解孤独感。所以Soul在说元宇宙，其实是重点在说他的人设。 PART 04 社交产品怎么向元宇宙倒退？看完这两个案例，咱们能够总结一下： 元宇宙还在晚期产品落地验证阶段，VR产品曾经有肯定的遍及度（1000万出货量）； 目前的XR产品还是属于体验增强型产品，还不能代替手机。当初咱们依照挪动互联网的教训看，它须要代替手机能力普遍推广，将来如果体验加强需要也能让更多用户深度应用的话也是有十分多的需要的，比方代替客厅电视机、游戏机、会议大屏； 现阶段的产品要着眼当初、兼顾将来； 低延时、3D虚拟化的实时音视频将会是元宇宙社交的根底。以拍乐云为代表的实时互动云服务商是元宇宙底层技术基建之一，提供海量数据实时无提早传输能力，特地是实时音视频能力。 咱们提供的是全栈的音视频服务，基于咱们构建的寰球实时传输减速网络Pano Backbone，实现语音通话、视频通话、互动白板、互动直播、云端录制等性能。同时，咱们的能力是全平台反对的，基于咱们的SDK，就能够实现社交场景下的语音聊天室、互动直播或者云游戏场景了。 ...

在看电影时，有一幕大家应该都十分相熟，警察从证据图片中选取一块区域放大，再放大，直到一个很小的指标变得清晰可见，从而发现重要的线索。事实中是不是真的有这样的技术，能够把含糊的小图变得清晰？答案是，肯定水平上能够，这项黑科技就是超分辨率技术，从低分辨率图像复原高分辨率图像，进步图像的品质，从而取得更加清晰的图片。超分辨率技术具备宽泛的理论利用，如医学图像重建、人脸图像重建、近程传感、全景视频、无人机监控、超高清电视等。同样情理，实时视频也能够进行超分辨率解决，将含糊的小分辨率视频变成高清超高清视频，本篇干货分享就来揭开这项黑科技的神秘面纱。 01 什么是超分辨率咱们看到的图片或者视频，都是通过显示设施显示一个个像素来进行表白的。像素是在特定的工夫点上能表白一个特定色彩的点，相似一片片马赛克。一幅图片就是由多个像素进行表白的，如图1所示。一幅图片有多少行和多少列像素，通常就是咱们说的图片和视频的分辨率，它也是人眼可能分辨图像或者视频中的点或线的能力。 图1 图片中的像素 数字相机在将真实世界转换为图片时，对实在的光信号进行了离散化，每个像素是一个采样，像素与像素之间是有距离的。当图像分辨率较低时，采样率就比拟低，或者能够了解为像素与像素之间的距离是较大的；分辨率进步，像素与像素之间的距离就变小，最终在显示图像时，就会对场景有更加精密的出现。因而咱们心愿图像的分辨率越高越好，能够失去更加清晰的图像。然而，因为采集设施的能力，或者编码压缩、传输等方面的限度，图像的分辨率有时会比拟低，为了进步这些图像的品质，能够通过晋升分辨率来失去更高质量的图像。最间接奢侈的想法就是用相邻的像素来填补空白，即近邻取样插值。然而这样的算法会呈现有阶梯状锯齿，显著不能很好地进步图像的品质。双线性插值、双三次插值、Lanczos插值等算法能够进步比近邻取样插值更好的成果。这一类传统的算法，往往被归为图像缩放技术。个别缩放的比例不会太高。 图2 近邻取样插值 随着深度学习技术的倒退，将低分辨率图像进行解决，失去一张高分辨率图像，同时复原出天然、清晰的纹理，就是咱们常听到的超分辨率技术，往往针对较高倍数的缩放，如4倍8倍缩放等。经典的图像超分算法SRCNN，首次将卷积神经网络应用于图像超分辨率技术，相较于传统的算法，SRCNN在图像的重建品质上获得了极大的晋升。与传统办法相似，它实际上也是利用低分辨率图像对空缺信息进行填补，从而进步分辨率和品质。在学习阶段，有同一幅图的高分辨率和低分辨率两个版本，输出低分辨率图，通过CNN网络后，输入高分辨率图像，同时与原有的高分辨率图进行比照，更新迭代下一次的学习，最初失去的CNN网络，就能够用来复原低分辨率图像。如图3所示，首先将低分辨率图输出到网络，通过特征提取、非线性映射、重建等步骤，输出高分辨率图像。SRCNN之所以比传统网络更加优良，是因为它即通过对低分辨率图像的特色进行学习和提取，针对不同的纹理特色，而后依据特色的不同，从而能够更加正当地进行高频信息的生成。 图3 SRCNN模型中的卷积构造 视频与图像相似，分辨率的晋升对于晋升视频品质也至关重要。与图像超分最大的不同，就是视频能够利用多个间断的图像/帧之间的相干信息，晋升指标图像/帧的分辨率。尽管能够将视频拆分成多幅图像，而后用图像超分算法进行解决，然而会造成帧与帧之间呈现不连贯的失真。近年来呈现了一大批优良的利用于视频的超分算法，以图像超分算法为根底，通过减少相应的模块来开掘帧与帧之间的特色，从而进步视频超分算法的性能。 视频超分，假如低分辨率视频是从高分辨率的视频通过一系列的进化操作而失去，超分算法就是将该进化操作进行求逆，从而能够将低分辨率视频复原成高分辨率视频。该进化操作能够表白为： 式中符号别离示意低分辨率视频的第i帧，高分辨率视频的第i帧，以i帧为核心的2N+1个高分辨率视频帧，及进化操作。通常进化操作为下采样，含糊，以及静止形变等。现实情况中，进化可能更加简单，如色彩空间转换、压缩等。超分算法的指标即求解该进化过程的逆操作： 02 视频超分辨率算法的分类基于深度学习的视频超分算法，个别会采纳卷积神经网络（CNN）、生成反抗网络（GAN）或者循环神经网络（RNN）。架构基本上都是将低分辨率作为输出，而后进行帧间对齐，特征提取，特色交融，最初重建生成高分辨率视频，如图4所示。能够看出，与图像超分最大的不同之处在于，视频超分应用了帧间的信息。如何高效地应用这些信息，也是不同的算法的区别之处。 图4 视频超分算法的根本框架 视频超分能够利用相邻帧间的信息，从而极大进步超分算法的性能。依据应用相邻帧间的信息的办法，对超分算法进行简略的分类：相邻帧进行对齐和非对齐两类。其中对齐算法又能够分成应用静止预计和静止弥补（MEMC）以及应用可变卷积两类。非对齐算法可分成二维卷积、三维卷积、RCNN、Non-Local。具体分类可图5， 图5 视频超分算法分类 基于静止预计和静止弥补算法 静止预计和弥补算法在视频超分中有着十分重要的作用，很多算法都以此为根底。静止预计是为了提取出帧间的静止信息，而后依据静止信息将不同的帧进行对齐。静止预计大多采纳光流法，即通过计算帧间的时域相关性和变动，失去静止信息，如图6所示。静止弥补即利用静止信息来对相邻的帧进行解决，从而与要解决的帧进行对齐。罕用的办法有线性插值和空域变换网络（STN）。 图6 光流算法 VSRnet VSRnet是图像超分算法SRCNN在视频上的扩大，最大的改良就是减少了静止预计和静止弥补模块，输出图像由一幅变成多帧。静止信息的提取采纳了Druleas算法。 VESPCN VESPCN即Video efficient sub-pixel convolutional network，引入了一个空域静止弥补变换模块（MCT），静止弥补后的帧作为卷积网络的输出，再通过特征提取和交融，最初通过一个亚像素卷积层做上采样失去高分辨率视频。MCT模块采纳CNN由粗到精来提取静止信息、进行静止弥补。粗估网络以2个间断帧作为输出，通过5层卷积和1层亚像素卷积，失去粗略的光流静止信息，而后进行静止弥补。粗估网络的输出为粗估网络失去的光流信息和静止弥补帧，通过卷积网络失去更精密的静止信息和静止弥补帧。 RBPN 受后向投影算法的启发，RBPN算法设计了一个投影模块。投影模块位于特征提取模块和重建模块之间。特征提取分为两个局部，一是对指标帧的低分辨率进行特征提取，二是对指标帧、相邻帧、及两帧的光流图的组合进行特征提取。投影模块由编码器和解码器组成。编码器由单图超分模块（解决指标图失去的特色图）、多图超分模块（解决指标帧、相邻帧、及两帧的光流图的组合失去的特色图）和残差块组成（解决前述两个模块，失去残差），将残差图与单图超分的后果叠加，送入解码器，解码器由残差块和下采样卷积组成。解码器的输入进入下一个投影模块，将所有投影模块的解码器的输入送入重建模块，失去超分帧。投影模块能够重复使用，直到遍历所有的帧。 可变卷积 上述这一类的超分算法，其共同点是都使用静止预计和静止弥补技术来将相邻的图像与指标图像进行对齐，然而都无奈保障静止信息的准确性，特地是当有光线变动或者较大的静止的时候。针对这点，可变形卷积被用来代替静止预计和弥补，来对齐图像。下述算法将对这种办法进行简要介绍。 可变卷积于2017年提出，与传统的卷积层不同的点是，传统卷积层，每一层都的核都是固定大小；可变卷积在核中退出了偏移量，如此以来，输出特色通过卷积操作，便能够更好地对几何模型进行变换。采纳可变卷积的视频超分算法次要有EDVR，DNLN，TDAN，D3Dnet，VESR-Net。本文选取EDVR和VERSR-Net进行简要介绍。 EDVR 该算法篡夺了NTIRE19 Challenge的冠军。该算法有两个要害的模块：a、金字塔、级联和可变形对齐模块（PCD），用来解决简单静止和大静止；b、时空留神交融模块（TSA），用来交融多个对齐的特色图。最初是重建模块。此外，输出含糊图像时，能够减少预处理模块来去模糊。该框架也能够用来进行其它类型的视频解决。 VERSR-Net 该算法夺得优酷视频加强和超分算法挑战赛的冠军。它由特色编码器，特色交融器和重建模块组成。特色编码器由一个卷积层和多个CARB组成。特色交融模式借鉴了EDVR算法中的PCD模块，用来进行特色帧对齐。而后将特色图合成，造成空域，时域和不同色彩通道的特色，而后将这些特色进行交融。重建模块先通过CARB模块，而后进行特色解码，最初将特色与双三次插值的失去的高分辨图进行叠加，失去最终后果。 非对齐超分算法 除了前述的对齐办法之外，还有多种非对齐算法，即重建时不须要对帧进行对齐操作。能够细分为二维卷积法（FFCVSR）、三维卷积法（动静上采样滤波（DUF）、循环卷积法（双向循环卷积网络（BRCN）、非部分网络法。除了二维卷积法之外，其余办法都应用了时空域联结信息。这类办法依附神经网络学习失去特色和静止信息，因此不须要帧对齐。在此不做深入分析。 03 各算法性能比照依据各种算法提供的试验数据，EDVR，RBPN和FFCVSR是三个比拟优良的算法，特地是EDVR和RBPN都曾经被屡次验证过，比晚期的超分算法更高效。EDVR是NTIRE2019挑战赛的冠军，该挑战赛指标是解决大静止场景和各种实在的视频场景，因此EDVR也是近来超分畛域比拟风行的算法。近期的超分算法比更晚期的算法高效，可能得益于硬件计算能力的晋升，使更深和更简单的网络变得更容易。这几个优良的算法，也都有一个显著的特点，就是它们都有相应的模块来解决高频重量和工夫相干信息，如EDVC外面的跨层PCD对齐，RBPN里的后向投影和特色上下文。 尽管视频超分的性能曾经有了显著的晋升，但深度神经网络的引入，使得训练和预测的计算复杂度、存储开销都十分高。随着挪动设施的倒退，高效轻量级网络的需要变得更为迫切。特地是在实时通信畛域，对视频超分提出了更高的要求，因为实时通信还有更多模块应用计算资源，因而实时通信中的超分，岂但须要极为简洁的设计，10毫秒级的解决算法能力真正落地；另外对帧的时延也有较高要求，往往指标帧之后的帧是不能作为输出，以缩小时延，这对网络结构的设计也有更高的要求。 随着人工智能和设施运算能力的继续提高，视频品质复原(Video Restoraion)在RTC零碎中的位置必将水涨船高，而视频超分是视频品质复原的最外围组件。在前文提到的技术根底之上，拍乐云也自研了可适配于支流挪动设施的超分算法，并将继续投入开发，为用户提供更高品质的实时视频体验。 参考文献 [1] https://arxiv.org/abs/2003.02115 J. Chen, et al. VESR-Net: TheWinning Solution to Youku Video Enhancement and Super-Resolution Challenge [2] https://arxiv.org/abs/1905.02716 X. Wang, et al. EDVR: Video Restoration with Enhanced Deformable Convolutional Networks ...

https://www.bilibili.com/vide... 2019年8月22日是拍乐云Pano 开始的日子。极致、翻新、价值，是拍乐云守业两年的关键词。 两年来，咱们初心未改，向着使命“构建云上的每一次美妙互动”迈了一大步，踏浪前行，勇立潮头，致力于成为全行业的实时音视频专家。 拍乐云赋能企业和开发者极致的实时音视频、互动白板和互动直播能力，除了和泛教育和泛娱乐客户共建场景、共创价值，也推动了泛滥传统行业数字化转型的步调，金融、政企、医疗、汽车、制作、地产、智能硬件...... 拍乐云的中文名源于 panorama（全景）前四个字母的音译。随着5G、AR、AI等技术的倒退，咱们心愿打造最顶尖、最前沿的实时音视频技术。正因如此，咱们推出了国内首个利用于实时视频通信的低码高清 AV1 编码引擎 Pano Venus，这预示着下一个实时视频时代行将开启，也将会减速4K/8K、全景、VR等实时视频产品的倒退。 将来，拍乐云Pano 将秉承初心，砥砺前行，咱们心愿为所有用户提供极致互动体验，打造更稳固、更高清、更易用、更低时延、更沉迷感的实时互动云服务，让互动更有效率、更有乐趣、更有想象力。 最初，感激团队所有的小伙伴，咱们相互信任，彼此依附，一起拼搏，独特成长，不负青春也不负本人。让咱们持续用酷爱与保持，书写拍乐云的故事。拍乐云，生日快乐！

杭州拍乐云科技8月16日正式公布国内首个利用在实时视频服务的低码高清编码引擎 Pano Venus。这是新一代视频编码标准 AV1 第一次在国内实时零碎中的利用落地，用以取代现有的支流编码标准 H.264，是编码性能和编码速度的一次全新冲破，真正开启高画质、低带宽、高性能、低时延的实时视频时代，为将来4K/8K、全景、VR等视频技术的大规模利用揭开序幕。近日，拍乐云音视频实验室公布了国内首个利用在实时视频服务的低码高清编码引擎 Pano Venus。这是新一代视频编码标准 AV1 第一次在国内实时零碎中的利用落地，用以取代现有的支流编码标准 H.264，是编码技术的一次全新冲破，真正开启高画质、低带宽、高性能、低时延的实时视频时代，为将来4K/8K、全景、VR等视频技术的大规模利用揭开序幕。 视频编码性能和速度的一次大幅晋升Pano Venus 采纳了先进的视频编码标准 AV1，通过算法和处理器个性相干的优化，性能有了极大幅度的晋升，能够在全平台设施上将编码时延管制在毫秒级，齐全满足实时视频通信的要求。同时，在雷同的视频品质下，Pano Venus 的所需带宽相比支流采纳 H.264 规范的编码引擎均匀升高40% 到 70%，其所应用的编码器是目前已知的国内最快的 AV1 编码器。 随着挪动互联网技术的蓬勃发展，视频数据在挪动互联网流量中所占的比例越来越高，视频直播、视频点播、短视频、视频聊天，曾经齐全融入了每个人的生存。视频让咱们更方便快捷地获取到大量信息，但视频的传输、存储也面临微小的挑战。 从20世纪90年代以来，视频编解码技术始终是国内外钻研的热点畛域，它的次要作用是在可用的计算资源内，谋求尽可能高的视频重建品质和尽可能高的压缩比，以达到带宽和存储容量的要求，保障用户高品质的视频体验。 对于实时音视频零碎来说，晋升视频压缩率有助于升高互联网线路的压力，节俭用户在网络带宽、视频存储等方面的投入，还有助于在低带宽的场景下提供更好的画面质量。 Pano Venus 采纳的 AV1 视频编码标准领有丰盛的编码工具反对，能够极大地提高视频的压缩比，节俭大量带宽，同时，AV1 作为开源媒体联盟 AOM 制订的第一代规范，除了有十分好的生态反对，还提供了收费的专利政策，相比 H.265 / H.266 等知识产权政策不明确的视频规范，有微小的劣势。清晰明确的专利政策也是 AV1 在产业界被推崇的一大劣势。 简而言之，Pano Venus 的技术价值聚焦两个点：大幅晋升编码性能、大幅晋升编码速度。 低码高清在实时视频零碎中的首次利用依据利用场景对时延和带宽的不同要求，拍乐云把视频低码高清技术利用分为三个级别： 1、非实时低码高清：利用于视频点播场景，对于编码无实时性要求，对时延要求低，对画质和带宽的要求高。 2、准实时低码高清：利用于视频直播场景，对于编码的实时性要求较高，个别运行在云端高性能服务器上，对画质和带宽的要求较高。 3、实时低码高清：利用于实时音视频场景，对于编码的实时性要求极高，通常在毫秒级别，运行的设施状况品种繁多、性能差别大，对低性能设施的反对难度十分大，对画质和带宽的要求较高。 目前国内的低码高清视频编解码技术次要利用于非实时和准实时场景，拍乐云此次推出的 Pano Venus 是针对实时视频服务场景，采纳新一代视频编码标准 AV1。 AV1 技术因为存在运算简单度过高的问题，目前在视频点播等畛域有所利用，但在实时音视频畛域未失去推广。 Pano Venus 正是解决了 AV1 在实时音视频畛域的技术难题，通过深入分析AV1视频编码标准中的编码工具，翻新地提出了多种减速编码的算法，使其可能在各种设施平台上以极小的运算开销进行视频通信，节俭了大量传输带宽，减小了视频传输的时延，拓宽了 AV1 的利用范畴，减速4K/8K、全景、VR等下一代视频实时通信产品的推广。 Pano Venus 诞生背地的故事拍乐云在2019年成立之初就开始鼎力投入 AV1 视频编码器的开发工作，指标是研发一款针对不同编码场景，编码复杂度可自适应调整的实时编码器，为视频会议、社交娱乐、云游戏、在线教育等实时场景提供极致用户体验。 凭借在实时视频畛域的多年深耕和对技术的匠心谋求，拍乐云音视频实验室仅用两年工夫就推出了 Pano Venus 的1.0版本。 ...

“本文由 拍乐云创始人兼CEO赵加雨 撰写并投递参加由数据猿&上海大数据联盟联合推出的“行业盘点季之数智化转型降级”大型主题策动流动之《2021中国企业数智化转型降级先锋人物》榜单/奖项的评比。数据智能产业翻新服务媒体——聚焦数智 · 扭转商业作为拍乐云的创始人及音视频行业从业者，我从音视频行业的角度来分享咱们对于数智化的察看和从业感触。2019年底开始的疫情给各行各业都带来了深远影响，其中比拟大的一个变动是各行各业的线上化，疫情强制人们把工作、学习、生存、娱乐等都搬到了线上，而这个影响不会因为疫情的缓解而缩小，各行各业的线上化将会成为长期的趋势。（数据猿曾对外公布#楷模的力量#《新冠战“疫”——中国数据智能产业最具社会责任感企业》榜单）音视频的“达克效应”曲线“达克效应”形容的是一种心理学景象，通常新技术的呈现和利用也合乎达克效应曲线，即技术刚呈现时会引来十分高的关注度和热度，此为愚昧之巅，然而过一段时间后可能因为达不到大规模商用的成熟度，或者没有找到利用场景等，导致进入失望之谷，那么接下来随着技术更加成熟，会进入开悟之坡，最终会获得比愚昧之巅时更大的利用。 音视频并不算新技术，但随着网络、设施、各种新技术的倒退，音视频技术也随之一直倒退，在疫情之前，音视频互动个别只利用在视频会议、在线娱乐交友、在线教育等多数场景，疫情使得音视频技术迅速出圈，在各种场景下取得了广泛应用。过来两年的音视频技术也很合乎“达克效应”曲线，能够说，疫情让音视频短时间内进入了愚昧之巅，各行各业都进入了线上化，而线上化离不开音视频技术。随着疫情趋于稳定，音视频的用量和应用场景大幅上涨，貌似进入了失望之谷，然而疫情给生产端和生产端都造成了很多不可逆的扭转，将来音视频肯定会在更广的行业和场景里利用起来，即进入开悟之坡，最终的用量肯定会超过疫情期间。音视频赋能下的行业线上化音视频技术的门槛高，波及到的技术栈长，须要的专业人才多，因而须要第三方云厂商提供音视频解决方案。拍乐云作为一家提供实时音视频PaaS云服务的公司，在过来两年里服务了各种行业和线上化场景，也亲自感触到了其中的倒退和变动。这里和大家分享一下咱们看到的一些变动。（拍乐云曾以《视频改正技术——基于参数估计的自在几何变换算法》荣获《数据猿·金猿榜年度榜单——2020大数据产业翻新技术冲破》） 疫情后咱们看到了一个显著的趋势：音视频通信成为公众沟通分享的重要形式。企业会议、近程授课、医生会诊、社交播客等场景越来越多，将来这类功能性实时场景将以更成熟的内容、更丰盛的模式呈现，而撑持这些场景的正是背地的直播和音视频技术。 娱乐行业作为线上化的先行者，始终热度不减，疫情让人们居家娱乐的需要疾速爆增。一起听/一起看、视频社交、秀场直播、语聊房、在线KTV等等娱乐社交APP一直新陈代谢，满足人们多元化线上娱乐的需要。这意味着音视频厂商不仅要保障优异稳固的音视频品质，还须要一直迭代底层技术以反对产品状态的继续翻新。咱们看到疫情让教育的线上化失去了大规模的实际，尽管学科教育正面临政策的监管，但线上化的需要不会少，线上化的趋势也不会变。教育的线上化在肯定水平上解决了资源不平衡的问题，而技术的降级解决的是线上教学的成果和效率的问题，让老师和学生能像线下面授一样身临其境，随时答疑、激励，甚至还能够像线上班课一样，有小组讨论和PK互动。金融行业的线上化转型近年来也是倒退迅速，呈现了近程银行、视频客服、金融双录等各种线上化的业务场景。为了解决线上线下业务办理“零差异”，外部协同经营更高效的问题，音视频厂商也在一直地翻新技术并深刻场景痛点，为金融行业倒退继续赋能。物联网行业也在疾速倒退，万物互联，音视频技术成为必不可少的推动力，电话手表、陪护机器人、智慧车载、智慧家居、智慧安防、智慧工业等场景中都须要深度联合音视频技术，连贯人与人、人与物。为了更好地适配不同的硬件终端，咱们深度优化了音视频编码算法和引擎，适应各种低功耗、低内存等极限环境下的音视频通信。咱们还看到了政企行业在数字化、线上化转型中的信心和能力。在政策的推动下，我国信创产业倒退迅速，成为了推动经济倒退的“新基建”。作为音视频技术厂商，咱们全力支持国产化，与麒麟软件实现兼容性认证，全面适配鸿蒙零碎，为政企行业的数字化、线上化转型打造倒退引擎。沉迷式音视频加持数智化将来音视频技术会随着AI、5G、AR/VR等技术的倒退而倒退，将会给用户带来更加沉迷式的体验，也将催生更多行业和场景来利用音视频技术。AI技术对整个RTC行业带来的影响是十分深远的，主观地说，以深度学习为代表的AI技术的倒退与成熟，对音视频关键技术的冲破提供了另一个有心愿的方向。有些应用传统技术无奈解决的问题，能够通过与AI技术的交融，大大降低问题解决的难度。无论是RTC行业的外围音视频编解码，还是其余一些音视频解决和加强技术，比方当初比拟热的音频降噪、视频超分、对象宰割辨认、语义辨认等，在AI的加持下，都取得了冲破，从而催生了智能客服、智能监控、虚构形象等新畛域。5G浪潮的暴发正在为实时音视频发明低时延和高带宽的网络条件，这些基础设施的改良，为超高清视频、VR和全景视频技术的落地发明了可能, 这些技术将会给用户带来“身临其境”的沉迷式体验。大家肯定有听过 Metaverse 元宇宙概念，它是 Meta+Verse 的组合，被定义为全新的“将来互联网状态”。而实时音视频技术在其中的利用，才刚刚开始，它会突破虚构和事实的边界，将人与人之间的间隔一直拉进，打造一个全新的数智化将来世界。作者个人简介赵加雨，拍乐云创始人兼CEO，音视频技术专家，资深程序员，足球爱好者，崇尚极简主义，简略就是生产力。东南大学计算机系毕业，从事实时音视频畛域技术18年，精通音视频整体架构和技术。曾任Cisco Webex 美国架构师、网易云信 CTO等职，在14年外企气氛的陶冶后，2017年寻求扭转，来到美国回国退出互联网云服务浪潮。2019年创建了国内第一家视频会议背景的实时音视频 PaaS 云服务公司拍乐云，深耕技术创新、场景钻研和行业洞察，致力于为企业和开发者提供更好的实时音视频、互动白板、互动直播等产品，构建云上的每一次美妙互动。

以下文章来源于多鲸 ，作者鼎力 近日，中共中央办公厅、国务院办公厅印发了《对于进一步加重义务教育阶段学生作业负担和校外培训累赘的意见》，学科类培训机构一律不得上市融资成定局。教育培训机构转型火烧眉毛，素质教育赛道是其中的一个趋势。随着美育被纳入中高考，相干课程学习变成刚需，教育政策向「音体美」方向聚拢，以思维训练、能力造就以及艺术素养为代表的素质教育出现「线上化」趋势。市场体现最为突出的是，各大在线教育公司都在开拓「音体美」的在线教育场景。 除了政策驱动，素质教育在线化的疾速倒退还依靠于实时音视频技术的一直减速。拍乐云创始人兼 CEO 赵加雨认为，用户体验是在线教育产品的外围竞争力之一，更具互动性和沉迷感的在线课堂体验将会无效晋升学员的学习效率，也是影响续费率和转介绍率的重要因素。 作为一家成立于 2019 年 8 月的音视频公司，音视频畛域的「黑马」，拍乐云从最难的素质教育切入，服务教育领域的互动全场景。 「咱们的愿景是构建云上的每一次美妙互动。」 说出这句话的是一家成立两年的音视频公司「拍乐云」的创始人赵加雨。这家公司的外围团队成员均来自音视频的黄埔军校思科 WebEx。 WebEx 是云视频会议的开创者，在视频会议畛域有着不可撼动的位置。2007 年，这家公司被思科纳入麾下。过后，WebEx 在视频会议畛域的市场占有率达到了 70% 以上，近乎占垄断位置。 从守业外围团队背景来看，拍乐云是国内第一家视频会议背景的实时通信云服务商，汇聚了一大批专一于音频、视频、网络、AI 等畛域的资深技术专家。 2003 年，毕业于东南大学计算机系的赵加雨退出 WebEx，历经 14 年一路晋升为 WebEx 中国高级经理、WebEx 美国架构师。2017 年，他来到美国，进入网易云信负责 CTO。 2019 年 8 月，赵加雨看见了音视频为行业及社会带来微小价值的后劲，便决然开始了守业之路。公司成立后即取得了红杉资本领投的天使轮融资。 碰巧的是，早在三年前，红衫资本就曾投资与拍乐云一样团队背景的公司——Zoom。Zoom 在 2017 年初取得红杉资本 1 亿美元的 D 轮融资。过后红杉资本发言人示意，多年来视频会议行业都没有一款真正受用户欢送的产品，直到 Zoom 呈现。 「咱们跟 Zoom 基因一样。」赵加雨向多鲸示意，拍乐云的外围团队都来自于音视频的黄埔军校「WebEx」，跟近程办公平台 Zoom 的背景一样。Zoom 的创始人袁征是赵加雨的多年好友、今日领导。 直到 2020 年疫情来袭，过后守业不到半年的拍乐云迎来了新机遇。「云上生存」成为人们相熟的体验。音视频技术在办公、教育、医疗、娱乐等垂直场景中大放异彩。「随着疫情减速线上化、5G 及互联网减速等多种因素叠加，将来留给音视频公司的机会越来越多。」赵加雨说。 赵加雨发现，视频会议中积攒的音视频技术能够很好地利用到教育场景中。因而，拍乐云通过 PaaS 的形式输入实时通信能力，将视频会议技术封装成简略易集成的 SDK，客户通过集成 Pano SDK 即可在本身利用里实现音视频通话、互动白板、互动直播、云端录制等各种能力。企业和开发者可在寰球范畴内疾速构建 1 v 1、互动小班、超级小班、双师大班等教学班型，实现 K12 教育、美术教学、音乐教学、编程教育、少儿英语、职业教育等多种场景互动。 「音视频行业当初谈市场市占率还尚早」，此前多鲸采访的投资人反馈到。这就意味着，很多音视频公司已初成规模，但也无奈囊括所有客户的场景需要。同时，不同教育场景对实时音视频技术也提出了更高的要求，如 1 V 1 要求极低的延时、小班课要求更强的互动性、大班课要求超大并发、在线钢琴陪练要求更好的音质和更丰盛的画面、在线美术教学要求保障图像的色调和不变形、在线编程教学要求有稳固的近程管制和视频标注能力。 ...

7月21日，多鲸资本在北京举办了「新政下的教培产业降级」主题流动。拍乐云亮相流动现场，并与多鲸资本教育研究院联结公布了《2021 中国教育实时音视频行业报告》。《报告》通过对拍乐云创始人赵加雨等多位音视频畛域顶尖专家的访谈，深度剖析了教育实时音视频行业的倒退历程和将来趋势，拍乐云作为典型企业案例入选该报告（文末可下载全报告）。 多鲸资本是专一于教育行业钻研及投融资服务的精品投行，业务包含泛教育企业策略征询、私募股权融资及策略并购参谋，同时设有多鲸共赢基金和守业服务品牌“多鲸荟”。 Part 1 百亿教育实时音视频赛道，场景化技术壁垒高 多鲸资本教育研究院在《报告》中认为，尽管现阶段教育行业细分赛道受监管政策影响，K12学科教育短期内恐有回落，但素质教育、职业教育和高等教育的发展势头良好。预计到2021年教育实时音视频市场规模可达到近60亿人民币，到2024年将达到100亿人民币，市场规模疾速倒退的背地有三大驱动因素：一是在线学习人数的减少，二是学生均匀在线学习时长的减少，三是在线学习过程中采纳“实时”形式互动的师生比例减少。 左右滑动领先看，点击浏览原文可下载全报告 整个赛道后劲微小，PaaS服务商和SaaS服务商在增量市场上各有千秋，但《报告》同时也认为，实时音视频通信零碎的技术壁垒高，难点在于如何达到更低时延、更高晦涩度和互动性，并更好地应答海量并发。同时，不同教育场景对实时音视频技术也提出了更高的要求，如1V1要求极低的延时、小班课要求更强的互动性，大班课要求超大并发、在线钢琴教学要求更好的音质和更丰盛的画面、在线美术教学要求保障图像的色调和不变形、在线编程教学要求有稳固的近程管制和视频标注能力。在多鲸资本看来，教育实时音视频行业下一阶段竞争关键点在于技术、服务和人才，这也是拍乐云的外围劣势和竞争力。 Part 2 技术、服务、人才，拍乐云夯实教育音视频行业引领者位置 拍乐云成立于2019年，核心技术团队来自视频会议领军企业思科 WebEx，是国内第一家视频会议背景的音视频云服务商，已服务于在线教育、泛娱乐社交、视频会议、金融、医疗、IoT、游戏等多个行业头部客户。通过集成 Pano SDK，教育企业即可在寰球范畴内疾速构建 1 v 1、互动小班、 超级小班、双师大班等线上教学班型，全面实现K12教育、美术教学、音乐教学、编程教育、少儿英语、职业教育等多种场景互动。 同时，拍乐云在业内率先提出音视频「两高一低」的概念（即：高质量、高晦涩、低时延），心愿通过技术升级让更多的客户利用从“能用”过渡到“好用”。拍乐云汇聚了一大批专一于音频、视频、网络、AI等畛域的资深技术专家，在服务客户场景的过程中十分重视技术创新，打磨出多摄像头采集、视频改正、近程管制、视频标注等多个音视频特色性能，并反对万人单房间、千人音视频同时连麦，可实现99.95%的高可用，为用户打造极致的互动体验，提供更优质、更业余的教育场景化音视频服务。 不仅如此，拍乐云在音视频底层技术上也一直夯实，深度优化智能音频算法和视频引擎，无缝联合基于AI的先后解决，大大加强视频主观体验。拍乐云自研出优异的音视频编码器，尤其是视频编码反对可伸缩，针对实时场景打造极致体验。独创的 Pano Backbone 寰球实时传输减速网络、先进的弱网反抗技术和云端适配技术，让各种设施的端到端时延实现最优，并在极限场景下仍然放弃晦涩的通话。为了不便教育企业自主定位用户线上实时的应用问题，拍乐云还推出了“数据罗盘”，提供全面的端到端数据展现和高效的音视频品质排查伎俩。 Part 3 资本和市场对赛道关注度高，拍乐云认为最重要的是打造服务品质 《报告》认为线上化有助于实现优质教育资源的传递，促成教育偏心，因而，教育实时音视频需求量只会有增无减，行业的将来格局并未齐全定型。实时音视频技术与5G的联合、与AI的交融、与硬件厂商的共创单干、校内信息化解决方案等都将成为新的增长点，落地更多的利用场景。 对此，拍乐云创始人赵加雨对多鲸资本示意，新一代用户成长于互联网时代，偏好以线上化的形式解决问题，疫情更减速了用户养成线上化的习惯，教育的线上化成为必然趋势。而音视频畛域正处于“开悟之坡”，将来音视频技术必将落地更多利用场景，增量微小。 赵加雨认为，教育实时音视频行业目前还处在起步阶段，必将从“能用”变成“好用”。要服务于教育这个慢行业，最重要的是打造服务的品质，放弃对技术的匠心、对教育的敬畏之心，稳步求进。 “咱们一方面须要在技术上进一步优化，另一方面也须要联合 AI、AR/VR、5G 等技术去做进一步的翻新，真正晋升在线课堂的互动性和沉迷感，晋升老师的教学效率和产能，晋升学生的学习效率和成果。”赵加雨示意。

拍乐云Pano 受青云科技邀请，将于7月29日加入 CIC 2021 云计算峰会，展出全场景实时音视频解决方案，同时在7月30日的线上直播中，拍乐云服务端专家沈伟锋将带来对于《大规模实时音视频技术架构的实际和演进》的主题演讲。拍乐云与青云科技已达成实时音视频畛域的深度单干，携手为千行百业数字化转型注入科技翻新的力量。 CIC 云计算峰会是由“混合云第一股”青云科技主办的TOP级行业盛会，已胜利举办五届，成为云计算行业翻新倒退的风向标。CIC 2021 以“预感·数字自在”为主题，分享云计算前沿技术、最新利用和实际成绩，采取线上线下相结合的形式，与会规模将超过 10000 人。大众交通、国家电投、蚂蚁团体、英特尔、浪潮、PingCAP、Oracle、新东方、视源股份、国科大智慧产业联盟、电子规范院、中国软件评测核心等企业、机构技术首领、CIO、CTO、资深架构师、开发者将共聚一堂，独特探讨，交换分享“云原生、数字新基建、信创云、碳中和、开源”等行业趋势，“边缘计算、容器平台、存储、数据库、超交融、云平安”等云产品翻新，以及“能源、金融、教育、音视频、电商”等行业解决方案在不同场景下的利用实际。 作为受邀参会的合作伙伴，也是实时音视频畛域的创新者和引领者，拍乐云在实时音视频通信畛域深耕20年，一直降级打磨产品，重视技术创新，为客户提供更好的音视频品质、更丰盛的性能，让更多的利用从“能用”过渡到“好用”。 目前，拍乐云已和青云科技达成策略单干，拍乐云实时音视频通信SDK曾经在青云科技云市场上架。单方还将深入研发单干，携手翻新，为千行百业提供更优质、更稳固、更牢靠、更业余的信息技术、产品及解决方案反对，减速数字化转型。 加入本场主题分享，你将播种 1.实时音视频零碎技术架构 2.构建实时通信零碎的网络拓扑3.理论场景的复杂性、多样性与零碎的自适应4.技术架构的演进5.将来的方向与最新技术 青云科技CIC 2021云计算峰会招募通道（线上+线下）现已开启，扫描下方二维码、或点击“浏览原文”即可报名，期待你的到来！

即日起至8月31日，融云一年一度的年中钜惠如期而至，官网正式上线IM、RTC繁多产品、以及组合产品套餐的促销流动。开发者们肯定都很想晓得，融云往年又会带来怎么的劲爆玩法，在优惠力度上会搞出多大事件？那么让小编带您一起去看看。 面向IM、RTC以及IM+RTC双重能力开发者，三重优惠八面玲珑、诚意满满 往年，融云的年中促销流动具备门槛最低、优惠更高、老手福利三大特点，不仅有面向IM、RTC独自产品线的开发者福利，还有面向IM+RTC双重能力的开发者优惠，三重优惠堪称八面玲珑，诚意满满。 第一重优惠，面向IM开发者，分为日活≤ 2000的用户以及日活＞2000等多个档位的优惠福利。以开发者的利用日活≤ 2000为例，IM商用版最低充值 4275元，最低预估应用3个月，即可开始享折扣；如果预估应用时长2年，则享受低至8折的优惠，只需预存28800元，节俭了7200元。当月预存，当月享受折扣。图1：IM商用版优惠活动（以日活≤ 2000为例） 第二重优惠，面向实时音视频的开发者。最低充值5000元，即可开始享受折扣，并且当天充值，当天即可享受折扣。如果开发者充值50000元，则可享低至8折的优惠。 图2：实时音视频优惠活动 第三重优惠，面向IM+RTC开发者。因IM和RTC在利用开发中的强耦合性，融云发现，应用IM的开发者，80% 都会有RTC的需要，因而，从去年开始，融云在业界率先提出以“IM+RTC”双重能力赋能开发者。 本次年中促销流动，也对这部分应用IM+RTC产品套餐的开发者给予了组合优惠。对于开发者而言，要应用融云IM+RTC的双能力套餐，日活≤ 2000的用户IM能够按4275、15300、28800任选一档充值；日活＞2000的用户如果预估应用1年，享8.5折；预估应用2年，则可享8折优惠；而实时音视频能够按5000、10000、20000、50000任选一档充值。图3：应用IM+RTC的优惠活动 并且，在任意组合充值后，开发者还可享折上赠送的福利，最高赠送5000元优惠。例如，日活≤ 2000的用户，开发者为IM充值28800，预估应用2年，为音视频充值50000，那么可享优惠套餐组合价78800元和额定赠送的福利5000元。 此外，不光是对老用户的回馈，往年的促销流动融云还特地给到新用户双重实惠，一是只有是新用户注册，即可支付300元礼金，用于IM、RTC或IM+RTC产品套餐的购买，而且应用有效期至2021年12月31日。因而，开发者们领先注册最要紧，充不充值的能够缓缓思考，不先注册领个券可就亏大了哦！二是针对日活≤ 2000的新用户，融云此次设置的购买充值门槛也极低，IM只需充值4275元、RTC充值5000元，即可开明服务享受折扣哦！ “升高开发成本” 绝不止是说说而已 近三年来，融云每年都推出极具吸引力的年中促销优惠活动，目标就是让利开发者，让更多的开发者体验融云、应用融云，让融云卓越的IM和实时音视频能力可能赋能更多的通信场景。618年中促销流动，是融云继4月推出“每月980元性能费，即可享受20万分钟收费音视频时长”流动后，又一重磅优惠活动。 实际上，融云为帮忙开发者升高开发成本，所付出的远不止于产品套餐上的促销优惠。更多的，还在于融云从技术打磨、底层架构以及业务场景登程，为开发者提供更便捷的开发性能，并且晋升产品的稳定性、易用性，从而为开发者带来更大的隐形实惠。 一个月前，融云为解决不同类别聊天信息的治理、分类、不同群组的身份标记等会话信息管理的痛点需要，公布了即时通讯 IM 新性能，即会话标签治理。该性能不仅利用于政企客户外部通信，还可利用于互联网泛娱乐社交、在线教育等诸多利用场景下，针对聊天会话共性分类的需要，实现即时消息的高效治理。须要强调的是，这一性能曾经在最新迭代的SDK版本中进行公布，开发者无需额定付费即可应用。 上周，融云正式上线语聊房新产品SDK 1.0 & Demo，这是业界首个齐全基于场景化的SDK，不仅将RTC和IM的双重能力汇合封装进一个SDK，而且还齐全遵循语聊房场景的业务逻辑，开发者无需再额定调用繁多能力，便可实现高质量的利用开发。相熟语聊房利用集成的开发者都晓得，如果采纳调用源码，这种业界当初广泛采纳的集成形式，要达成雷同品质的利用，至多须要十几人的团队，两至三个月的研发工作量。而应用融云语聊房Demo，则能够帮忙开发者30分钟疾速集成，5-7天上线新产品，因而，融云这款产品是真正意义上的开发者能够开箱即用的语聊房Demo。 结语 融云每年推出的年中钜惠流动目标只有一个，就是要真正升高产品利用的开发成本和开发难度，在晋升开发效率的同时，帮忙开发者抢占先发劣势。就开发者而言，以实惠的价格购买了产品与服务，播种的是稳固的、高质量的通信云能力。

6月16日-6月18日，第九届寰球云计算大会·中国站(Cloud Connect China 2021)在宁波隆重揭幕。本次大会上，拍乐云荣膺寰球云计算大会“云鼎奖”2020-2021年度最具后劲企业奖。 往年，在放慢构建以国内大循环为主体，国内国内双循环相互促进的新倒退格局背景下，大会通过深入探讨物流与制造业的新技术交融，聚焦剖析数字化平台，助力企业与产业的数字化转型降级。论坛主题蕴含新技术赋能双循环倒退、数字化平台助力企业转型、AIoT工业利用与趋势、物流与制造业新技术交融、云计算先进技术，以及云计算人才培养。作为每年寰球云计算大会的重量级流动，“云鼎奖”(Top Cloud Connect Awards)如同云计算畛域的“奥斯卡”，旨在表彰年度对中国云计算产业做出突出贡献和具备翻新精力的个体、集体和产品。本次“云鼎奖”自3月1日启动以来，受到相干机构、组织、企业的踊跃参加，拍乐云凭借在音视频畛域的技术影响力和产品翻新成绩从强烈角逐中怀才不遇，荣获“云鼎奖”2020-2021年度最具后劲企业奖。 深度打磨技术，拍乐云在谋求极致音视频品质 拍乐云成立于2019年8月，随同着5G时代的到来和寰球疫情的影响应运而生，是业内一流的实时通信技术服务商、音视频行业解决方案提供商。怀着对技术的“工匠精力”，拍乐云摸索出了更实在、丰盛且身临其境的用户互动体验，播种了教育、金融、视频会议、泛娱乐等行业当先企业的认可与抉择，此次获奖也印证了业界对于其技术实力的必定。正如拍乐云创始人赵加雨所说：“2B企业服务肯定是产品和服务来主导的，咱们将始终保持与客户在一起，摸索行业对于实时音视频的更多场景和更高要求，从技术底层赋能更多的产品从“能用”过渡到“好用”，为人们的生存、工作和娱乐发明更多的可能性。”放眼将来，赵加雨还将率领团队继续发力，积攒和积淀服务能力，用好用的产品体验、先进的技术影响力撬动将来音视频行业的改革。

前言：实时音视频 RTC（Real-Time Communication），是新冠疫情黑天鹅事件中疾速遍及并崛起的技术与行业。资本加码，爆款利用，让实时音视频的设想空间被放大。安全可靠的寰球互联网通信云厂商融云CTO任杰近期承受了媒体采访，对于RTC技术关键点、翻新的应用场景有哪些，将来RTC将引爆什么行业，开发者的机会又在哪里，论述了本人的认识。 融云CTO 任杰 RTC的新挑战 在RTC遍及之前，高大上的视频会议和电视电话会议，须要用到专网和专有硬件。大略在2012年前后，随着3G、4G网络的建设和WiFi遍及，RTC技术开始进入互联网。不过，任杰提到，各种手机、PC等设施都开始进入了互联网的视频通信畛域，设施变得不可控。另外，从专有网络变成了广域网和互联网以及无线网络、4G网络，网络也变得不可控。 “PC不是为了通信这个场景进行的设计，所以在回声打消、降噪、视频采集编码层面都有不同的解决，有很多设施适配、算法的从新适配，大量细碎的性能要去做；手机在无线网络下，丢包和带宽会有刹时变动，这些是新场景下面临的新问题，咱们要从新去解决它，用新算法、新模式去解决它。”任杰说。 2021年初，W3C（万维网联盟）和IETF（互联网工程工作组）发表WebRTC成为官网规范，任杰认为WebRTC被标准化组织接收认可，但并不代表着RTC的技术曾经成熟。“一个行业如果在继续暴发和继续高倒退阶段，咱们很难说它的技术是成熟的，因为场景越来越多，使用的设施技术也越来越多。音视频编码在一直变动，新场景下的网络反抗、机器学习、降噪技术，都在继续井喷的倒退过程中。”任杰如是说。 新的技术、场景，也带来了新的挑战。任杰总结了四个融云在现阶段面临的RTC挑战： 1、高清视频：随着WiFi和5G等基础设施的降级，用户对音视频品质要求更高，融云会追随新的编码标准去提供高质量、高码率、高帧率的视频体验。 2、语音还原度：传统算法曾经不能满足现有高质量、高还原度的应用体验与要求，RTC将与AI联合，研发降噪、晋升智能分辨率、进步整体视觉清晰度的技术，这是融云RTC技术研发的一大方向。 3、大量智能设施适配：除了安卓，将有大量实时操作系统RTOS设施进入RTC畛域，而这些设施有些配置较低，规范参差不齐，都须要RTC厂商做好适配，保障交互体验。 4、寰球节点部署，服务出海开发者：互联网市场的人口红利在逐步隐没，出海开发者的音视频业务需求量很大，融云在做寰球节点的部署，以及更好的调度算法，确保寰球任何一个中央、任何一种形式接入，都有优越的音视频体验。 RTC的三大翻新场景 尽管疫情让RTC极大遍及，然而任杰认为，疫情自身并未发明新的RTC场景，而是推动了音视频在各类场景和行业落地，减速了RTC倒退过程。 他举例说明，在线教育毫无疑问是疫情中被推动与宽泛落地的RTC场景。除了k12（kindergarten through twelfth grade，学前教育至高中教育的缩写，代指基础教育）的在线课程外，当初素质教育也在向线上迁徙。不过与基础教育不同的是，素质教育波及教训的传递和领导，是更加个人化的过程，例如音乐、绘画，过程要求比拟高。RTC技术与应用体验感的晋升，将有助于素质教育的在线化过程。 教育的另一个翻新场景是在线考试，考试始终是庄重的事，过程管制更加严格。而因为疫情影响，考试也开始线上化，例如考场设前置摄像头、后置摄像头，并全程录像，不便监督和考试后抽查。 除了教育，任杰提到第二个RTC翻新场景将是强互动型与娱乐利用。电商直播、共享电影、线上拍卖、3D虚构形象的语音社交、在线独唱等等，这些强互动型利用将会越来越多，值得开发者从产品层面施展想象力。 第三个翻新场景在行业利用中，疫情之后须要“无接触服务”各个行业，包含政府办事、金融、保险、交通、海关等等畛域，都在将办事、审批服务过程转向线上，这些也是RTC十分重要的新场景。 当AI遇见RTC 对于RTC和AI、5G等新技术的交融趋势，任杰别离介绍了AI技术对音视频畛域四类问题的解决办法。 AI智能降噪。比方在线教育场景下，（老师/学生）敲击键盘、倒水、咳嗽的声音，过来的算法对这些非稳态乐音无能为力，而AI技术能够分辨的场景和分辨的噪声更多，将帮忙RTC在降噪方面有较大晋升； AI超分解决。在雷同带宽下传输的视频图像，利用AI技术能够使其在解码还原后较之前更加清晰； 利用AI技术把不同的视频场景或者音频场景分辨与离开。对于动态场景编码、清晰度和帧率的管制，对于动静场景下编码和帧率的管制，用AI技术都能够将其辨别开，做不同的解决；以及用AI技术重构带宽预计的算法。 对于更远的将来，在全真互联网时代，任杰示意，音视频从采集到编码、传输、解码、渲染、互动的整个过程，将是全真互联网必须具备的一大块能力，而RTC无望成为全真互联网的基础设施。

在音视频通信解决流程中，音频方面最根本的无外乎就是音频的采集和播放。windows 平台下，有很多音频采集播放的办法。作为一个 windows 端音频应用程序开发人员，常常会被各种可用的API吞没，比方 MME、DirectSound、WDM/KS 和 Core Audio。然而简直所有做音视频通信的开发者都会抉择 Core Audio 作为采集播放的底层 API。在本篇内容中咱们将次要围绕 Core Audio，解说它的优劣势，以及咱们基于它来做 windows 音频采集播放的技术实际。 1粗体Why Core Audio？ 为什么抉择 Core Audio？咱们先来理解一下当初支流的一些 Windows APIs的优劣势。 1.1 Windows Multimedia Extensions (MME/WinMM) MME是第一个实用于Windows的规范API。 劣势：MME办法实现简略。 劣势：延时是一个重大的问题，动静，实时的音频（比方实时音频通话，游戏事件告诉等）有点难以及时处理，个别最小时延能达到120ms。在实时音频场景中，任何比大脑认为应该产生的工夫晚10毫秒的事件都被认为是不同步的。 1.2 DirectSound（DirectX Audio） DirectX 是基于COM的多媒体API汇合的总称，其中包含 DirectSound。 劣势： 1）它能够十分靠近硬件工作，极限最小提早可到60毫秒左右，并反对更高质量的音频； 2）可通过简略的API使得与硬件交互变得切实可行； 3）为平台带来了可插拔的、基于软件的音频成果（DX 成果）和乐器（DXi Instruments）。 1.3 Windows Driver Model/Kernel Streaming (WDM/KS) 应用 WDM 后，MME 和 DirectSound 音频当初都通过称为内核音频混合器（通常称为 KMixer）的货色。KMixer 是一个内核模式组件，负责将所有零碎音频混合在一起。然而 KMixer 也会引入了提早，大略30毫秒，事实上，有时会更多。为了缩小 KMixer 带来的时延，WDM/KS 的计划诞生了。 劣势：可将提早做到极低的状态，个别最小提早能够到1毫秒~10毫秒，且在肯定状况下能够应用非分页内存、间接硬件IRP和RT，独占声卡的所有资源。 劣势： 1）独占了声卡的所有资源，导致只能听到特定应用程序的声音。当多个程序开启时，是无奈听到其余应用程序的声音的； 2）KS 也没有音频输出，即麦克风也是无奈应用的。 留神：在 Vista 和 Windows7之后，KMixer 曾经被弃用了，KS并不适用于 Vista 和 Windows7之后的版本。 ...

疫情催发RTC由较窄赛道进入较宽赛道，由一种技术能力逐步演进为一种规范，甚至是互联网的基础设施，成为与5G、AI等新兴技术并列被提及的高频热词。业界普遍认为，后疫情风暴中的RTC在各场景利用中施展了重要作用。 因为，RTC不仅推动了现有场景的减速落地，同时也在与AR、VR、MR等新设施新能力相结合，赋能更多翻新场景。对于开发者来说，该如何抉择RTC，面临的首要问题就是：第三方商用RTC还是基于开源WebRTC自研？本文将提供几个思考维度，帮开发者理清思路。 思考一：商用RTC厂商推动RTC技术倒退演进 RTC的倒退从技术上看，是与时代相结合的。RTC的晚期利用次要是视频会议，使用者往往领有专有的硬件设施，在专有网络上进行。进入商业4G时代后，互联网场景里，PC和手机这类的设施是不可控的，而网络更是一个非稳态环境。因而，之前基于设施和专有网络保障的RTC技术，在广域互联网时代里进行了十分大的演进。比方，在软件层面须要从新构建3A算法，包含视频采集、编解码的新算法；在寰球通信网络架构层面，要正当利用边缘计算节点，更好地进行最初一公里的连贯等。 RTC技术在适应时代倒退变动，意味着它不是简略的书本上的常识，而是经验着大量的实际，开发中还要踩过有数的坑。每一项RTC技术上的变革与提高，都承载着研发人员适应网络变动、满足不同场景需要的教训累积。这些是商用RTC厂商在推动RTC技术倒退过程中，逐步被开发者所认可的最大起因。 思考二：品质为先？还是价格为先？ 目前，市场上同时存在商用第三方RTC厂商和以开源WebRTC为根底的自研方。对于开发者来说，尽管商用RTC推动着RTC技术整体向前倒退，然而也存在老本高居不下的问题。 对于初创企业或有肯定学习能力的开发者来说，往往入坑抉择了开源WebRTC，成为自研方。开源WebRTC有非常明显的劣势和劣势，享受它的长处，就要承受它的毛病。它的长处毋庸置疑是短期内成本低，甚至0老本就能够上手。但从长期看，随着业务量的增长，和对实时音视频高清晰、低延时、无卡顿的要求越来越高，开源WebRTC往往难以满足。 当这种状况呈现时，就须要由开源WebRTC向第三方RTC厂商迁徙替换。这样一来，对开发者来说，须要从新相熟第三方RTC厂商数百个SDK接口或场景Demo，如果业务正处于经营上升期，还存在迁徙过程中，数据存储失落，无奈确保业务连续性的危险。 因而，“以品质为先？还是以价格为先”，在笔者看来是个伪命题。以价格为先，抉择了开源WebRTC的自研者最终还是要转向第三方RTC厂商。如果开发者想经营一款将来爆款的App，最好的抉择肯定是应用商用第三方RTC厂商。一线营垒的RTC厂商，都领有数百人业余的研发团队，技术稳固成熟；有的厂商还自研自建寰球通信网络，部署多地数据中心和数百个边缘节点，确保底层基础架构健硕。 目前，市场上处于一线营垒的RTC厂商，有专一于通信云赛道的声网、即构、融云等PaaS云厂商，还有互联网大厂阿里云、腾讯云、网易云信等。 思考三：联合场景化Demo和最佳实际，抉择第三方RTC厂商 RTC技术在互联网的利用场景十分宽泛，比方，反对一对一音视频通话的1V1 教学场景、在线看房中的 VR 看房场景、1V1 社交中的陪聊场景；反对一对多音视频通话的语聊房、在线KTV、游戏直播、互动小班课；反对多对多音视频通话的近程医疗会诊和手术示教、多人相亲等。 基本上一线营垒的RTC厂商都能够反对上述的在线教育、泛娱乐社交、近程医疗等宽泛场景。这时，开发者应多思考本身我的项目的利用场景，抉择能够提供场景化Demo的厂商，这样便于疾速上手，不必在数百个SDK中本人筛选适宜场景的开发模块，能够节俭不少开发工夫。除了场景化Demo以外，如果抉择有该场景最佳实际的厂商，往往也会帮开发者少走弯路。 目前，小编理解到，融云的通信云能力能够为在线KTV、语聊房、多人相亲、电商直播、近程会诊、手术示教以及在线教育等数百种利用场景赋能。比方，融云为某客户提供的底层IM和实时音视频能力，通过深刻理解在线教育场景，帮忙其实现了在线教育App的低延时直播，无论是大班课、小班课，还是一对一VIP课，可灵便管制直播间内的参与者，实现讲师与学生的互动，不仅反对高品质音视频，同时还反对白板、录播回看等性能。这样的一线实力RTC厂商，往往能够成为开发者在不同场景下优先思考的厂商。 结语 后疫情风暴中的RTC从一个隐形事物，逐步成为开发者关怀的热门畛域。从某技术网站数据看，RTC相干的文章及视频公布曾经超过了30万篇，带来的浏览和观看量曾经超过了30亿，对于RTC感兴趣的繁多视频访问量甚至超过了70万。 所以，本文心愿给正在学习RTC技术的，或正在抉择RTC能力的开发者，以启发和借鉴。小编始终认为，商用第三方RTC是开发者更牢靠、更稳固和更久远的抉择。在抉择时，要思考一线实力RTC厂商有无场景化Demo，有无该场景的最佳实际，这样能力少走弯路多避坑。

随着云计算的疾速倒退，音视频技术跟随着“云”的脚步，失去了宽泛的利用。直播、短视频、VR/AR 游戏的衰亡，使其成为备受关注的一项热门技术。 但随之而来的，是用户对于音视频的品质要求越来越高，开发者所面临的问题绝对应的也就越来越多。 音视频抗丢包音视频拆散降噪传输的稳定性和延时高并发下如何保障视频品质如何缩小码率和带宽老本...... 为满足各行业、多场景的需要，本次 ECUG Meetup 第1期 · 杭州站，让咱们从业务场景驱动，带你吃透音视频技术架构，应答实在业务场景的挑战。 ECUG Meetup 为 ECUG 旗下的系列沙龙流动，致力于探索前沿技术畛域的最佳实际。本次推出 「2021 音视频技术最佳实际」· 杭州站为该系列的第一站，将邀请业内技术专家从技术选型与优化、业务最佳实际、前沿技术利用探索等维度进行分享。 一、讲师介绍本次流动讲师别离来自淘宝、Cocos、Zilliz 以及七牛云，四位讲师将从技术选型与优化、业务最佳实际、前沿技术利用探索等维度进行分享。 每位讲师分享完后会进行现场发问互动 & 抽奖，参加互动发问即可取得技术书籍一本。 二、流动议程直播带货、游戏引擎开发、音视频检索......四位讲师将与参会者一起探索前沿的利用场景以及最外围的技术撑持。 本次流动还特设中场茶歇以及会后交换 & 合影环节，期待每一位参会者可与同行产生思维碰撞、丰盛精英人脉。 三、福利流动 1、转发海报，集赞领周边 转发流动报名海报到朋友圈，并在文案中增加 #ECUG ，集赞满 20 个的敌人，可凭朋友圈在流动现场支付官网伴手礼（雨伞、存钱罐、钢笔等随机支付）一份。流动报名海报请增加 ECUG小助手（微信号：ECUGCON）获取。 2、现场发问互动 讲师分享后，向讲师提问者，可取得技术书籍一份，每位讲师只提供两个发问机会。 3、现场抽奖 流动设置现场抽奖环节，线下参会者均可参加抽奖。奖项设置如下： 一等奖 2 名：ikbc 键盘 1 只 二等奖 2 名：电脑包 1 只 三等奖 5 名：七牛云抱枕 1 只 4、流动回顾 流动后于朋友圈、集体博客 & 自媒体、技术社区等渠道，以文章 & 图文 & 短视频模式分享参加此次 ECUG Meetup 流动的感触，可取得 ECUG 与七牛云独特筹备的惊喜礼物一份，并有机会受邀参加下一届 ECUG Con。 ...

性能简介屏幕共享包含屏幕采集和视频流推送两局部性能。与远程桌面不同，屏幕共享只是将本地桌面内容以视频流的形式分享到网络。本文的重点，是解说如何利用 webrtc 的屏幕采集性能。对于 webrtc 视频编码传输性能的利用，须要专门的文章进行解说，这里临时不做开展，而是把重点集中在屏幕采集上。webrtc 提供了多个平台的屏幕共享性能，这里以 windows 10 平台作为开发环境，讲述如何在 window 平台，利用 webrtc 的屏幕共享性能。 屏幕共享包含三种采集形式，有全屏采集，窗口采集，和指定区域采集。每种采集形式，都有本人特定的应用场景，这里次要关注的，是如何应用 webrtc 实现这三种采集形式。 webrtc 中屏幕采集的源码在 webrtc/src/modules/desktop_capture/目录下。 在 desktop_capture 目录中的 desktop_capturer.h 中定义了 DesktopCapturer 类，DesktopCapturer 类形象了屏幕采集要用到的接口。windows 平台的屏幕采集实现，在 webrtc/src/modules/desktop_capture/win 目录下，其中有 ScreenCapturerWinGdi 类，ScreenCapturerWinMagnifier 类，DesktopAndCursorComposer 类，WindowCapturerWinGdi 类，WgcCapturerWin 类。这些实现类，别离实现了 Windows 平台的屏幕采集和窗口采集性能。 全屏采集ScreenCapturerWinGdi 类只实现了单纯的屏幕采集性能，如果须要在全屏采集时过滤掉指定的窗口，则须要应用 ScreenCapturerWinMagnifier类，通过 SetExcludedWindow 接口设置须要过滤的窗口。ScreenCapturerWinMagnifier 类只实现了过滤窗口的性能，如果须要在过滤窗口的同时还要显示鼠标地位，就必须应用 DesktopAndCursorComposer 类，DesktopAndCursorComposer 类实现了将鼠标地位与屏幕图像合并的性能。 窗口采集WindowCapturerWinGdi 类最早实现了采集指定窗口的性能，然而对于启用了硬件加速的窗口，则无奈采集到窗口内的内容，只能采集到窗口的边框。在最新版本的 webrtc 中，提供了 WgcCapturerWin 类，WgcCapturerWin 实现了采集全屏和采集窗口性能，重要的是，WgcCapturerWin 能够采集开启了硬件加速的窗口，比方 chrome 浏览器。 采集区域DesktopCapturer 类没有提供采集指定区域的接口，所以，须要在 DesktopCapturer 类中增加一个非纯虚函数，函数承受四个参数， 别离是指定区域的左上角坐标x和y，还有区域大小width和height。 而后再创立一个继承 ScreenCapturerWinGdi 的新类，而后重载 CaptureFrame 办法，能够拷贝 ScreenCapturerWinGdi 类中的 CaptureFrame 实现，而后把采集的区域指定为自定义的区域（把原来的全屏区域批改为自定义的区域）。这样就实现了采集指定区域。 ...

本文整顿自线上直播【MCtalk Live#2 ：RTC 零碎音频弱网反抗技术倒退与实际】网易云信资深音视频引擎开发专家崔承宗分享内容，文末也可查看直播回顾视频。1、背景介绍RTC（Real Time Communication）零碎广泛应用在视频会议、在线医疗、泛娱乐、在线教育等实时互动场景，为用户提供低延时、高清晰度和晦涩度、高保真音质的实时互动体验。音频弱网反抗技术旨在晋升 RTC 零碎在弱网（高丢包、大抖动、高提早）条件下的用户体验。 本文从 RTC 零碎的音频弱网成果、弱网反抗的诸多技术以及 RTC 零碎层面进行较为详尽的剖析，心愿能够帮忙读者对 RTC 零碎的音频弱网反抗技术有所理解。 2、常见音频弱网卡顿景象理论场景中常见的音频弱网卡顿景象有如下表所示几次状况： 表1 常见 RTC 利用音频弱网卡顿景象 序号景象排查门路问题归类1音乐声音不丰满、发闷，飘忽、卡顿确认 CODEC 采样率、码率，编码器类型CODEC类 型选型，CODEC参数设置2声音快进、慢放网络 RTT，网络数据突发数据量，设施信号强度等网络抖动、去抖动解决逻辑、网络连接信号差等3声音卡顿、卡死、断续网络丢包率和 RTT、网络带宽预测、码率调配、网络拥塞管制等网络拥塞、网络连接差等3、RTC 零碎音频的抗性针对上述音频卡顿景象，咱们该如何应答呢？表2列举了业界罕用的音频抗丢包算法和互相比照。 表2 业界罕用的音频抗丢包算法比照 比照带外 FECOpus/SILK 带内 FECREDARQPLC提早分组延时+单向传输的工夫1或者2倍帧长+单向传输的工夫RED 最大层数 N 倍的帧长+单向传输的工夫N 倍 RTT 的传输延时，N 是最大重传次数无提早应用形式前向纠错编码器个性前向纠错后验纠错后验纠错实用状况随机丢包、网络 RTT 较大、包长度较大的场景小丢包或者非间断丢包、编码器编码码率较高的场景随机丢包、网络 RTT 较大、包长度较小的场景突发丢包和继续丢包、网络 RTT 较小的场景小丢包或者非间断丢包依据上下文或者邻近波形生成类似波形实现难度绝对简单，波及到发端、收端FEC编解码逻辑，动静冗余、反馈及时性等绝对简略，波及编码器码率和网络丢包模型复杂度低于带外 FEC，波及到动静冗余、反馈及时性等看似简略，实际上网络简单场景下的挑战较大绝对简单，通过波形相关性或者噪声填充，晋升抗丢包能力上面，咱们具体介绍一下音频抗性的这几种算法。 抗丢包 FEC前向纠错也叫前向纠错码（Forward Error Correction，简称 FEC），是减少数据通信可信度的办法。FEC 利用数据进行冗余信息的传输，当传输中呈现数据失落时，将容许接收端依据曾经接管的数据恢复失落数据。 如下图所示，咱们能够看到，发送端将数据包依据冗余度参数进行分组 (block)，对分组数据减少冗余。接收端在收齐分组后，即可复原失落数据（条件是失落不超过冗余包数）。因为接收端要期待FEC分组到齐，所以存在 FEC 复原算法上的延时， FecDelay = Block个数 * 帧长。 ...

前言往年2月份，webrtc M89 的正式公布，在Release note 提出了一个重要更新，即废webrtc Plan B SDP 语义，举荐应用规范SDP格局：Unified Plan。WebRTC1.0 曾经正式成为 W3C 规范，支流浏览器根本都反对UnifiedPlan SDP。Webrtc将于21年开始逐渐废除Plan B SDP，直到移除，后续工夫打算如下： M89 (2021.02)：在开发者控制台减少废除正告M93 (2021.08): Plan B 被移除掉, 然而减少了选项，能够缩短移除的截止日期M96 (2022.01): Plan B 将彻底移除那么，什么是Unified Plan，和Plan B有什么差别，会在什么场景下用到？咱们明天来谈谈 SDP 以及 Unified Plan。 01 SDP介绍 在一些音视频多媒体替换计划中，比方点播HTTP-FLV、直播RTMP，因为音视频会话建设须要的信息都是确定的，他们有事后约定的音视频格局来反对音视频，建设会话的单方无需进行能力协商，然而这样会升高或者说没有充分发挥端到端的音视频能力。而一些松耦合多媒体通信零碎的建设过程中，对会话单方能力的形容，特地是对于媒体信息的形容是十分重要的，必须要有一种标准规范的模式来进行会话形容，这样能力保障会议创建者和参与者可能对一个会话形容有统一的意识，比方多媒体通信零碎的单方，都必须明确晓得对方的媒体能力，例如，如何建设连贯通道，采纳何种编码格局，应用哪些RTP扩大，SDP(Session Description Protocol)就是这样一种会话形容协定。1998年4月在IETF RFC2327中定义了SDP规范，并随后在2006年7月出版的新的订正标准RFC4566作为RFC2327的更新。以后SDP被宽泛用于SAP, RTSP, SIP等多媒体通信协定中，包含webrtc也是以RFC4566（SDP）为根本底本，而后配合RFC3264对于offer/answer交互模式来进行媒体协商。 02 SDP 格局 SDP是基于文本，其自身并不属于传输协定，仅仅是对会话进行文本形容，SDP的协商和替换通常须要依赖其它的传输协定（比方 SIP 和 HTTP），咱们先看一个典型的webrtc SDP： v=0o=- 6027151064452464111 2 IN IP4 127.0.0.1s=-t=0 0a=msid-semantic: WMS 32776m=audio 60016 RTP/AVPF 111c=IN IP4 192.168.3.69a=rtcp:9 IN IP4 0.0.0.0a=candidate:2881305691 1 udp 2122260223 192.168.3.69 60016 typ host generation 0 network-id 1 network-cost 50a=ice-ufrag:187458893310337024a=ice-pwd:GFRpXLO0g2pQ7YpWXIXmPFmHa=ice-options:tricklea=mid:audioa=extmap:1 urn:ietf:params:rtp-hdrext:ssrc-audio-levela=extmap:5 http://www.ietf.org/id/draft-...a=sendrecva=rtcp-muxa=rtpmap:111 opus/48000/2a=rtcp-fb:111 transport-cca=fmtp:111 minptime=10;useinbandfec=1a=ssrc:2878130877 cname:FjkQJG2DE02h2dGva=ssrc:2878130877 msid:32776 audio-defaulta=ssrc:2878130877 mslabel:32776a=ssrc:2878130877 label:audio-defaultSDP 会话形容蕴含若干行以下模式的文本：<type>=<value>；<type>是大小写敏感的单个字符，<value>一个结构化的文本字符串，其格局依赖于<type>，通常 <value> 或者是若干以单个空格分界的字段，或者是一个自在格局的字符串。 ...

2021年4月16日-4月17日，国内规模最大的多媒体技术畛域峰会LiveVideoStackCon在上海隆重举行。本届大会以“新技术，新机会”为主题，聚焦在音频、视频、图像等技术的最新摸索与利用实际，话题涵盖教育、娱乐、医疗、金融、社交、游戏、智能设施等行业畛域，会集了国内外音视频畛域泛滥顶尖技术专家，吸引了近千名音视频开发者参会。拍乐云作为业内技术当先的音视频厂商受邀技术分享，在“网络传输与RTC”专题会场为泛滥来宾分享《音视频零碎拥塞管制的最佳实际》，全程干货，震撼全场。随着多媒体技术的倒退，利用场景及覆盖范围变得越来越广。云游戏、超高清视频、AR/VR......对网络传输来说代表的是更高带宽、更低提早等严厉的挑战。在网络传输主题分享中，拍乐云首席科学家Volvet谈及网络拥塞，他指出：和公路交通拥堵类似，网络拥塞就是网络节点和链路所承载的数据量超过了它所能解决的极限，从而导致的网络服务质量的降落。网络拥塞往往随同着数据包被抛弃，在实时音视频零碎中，音视频体验降落的最间接起因也是丢包。互联网上没有指挥交通的交警，就须要在多变的网络状况下，有保障网络服务质量的办法，这就是拥塞管制。 在实时音视频零碎中，对品质的要求能够总结为两高一低，即：高晦涩、高清晰、低时延。国际电信联盟 ITU-T 的规范 G.114 中，对传输上的单向时延提供了一些领导倡议，通常认为的 RTC 零碎时延要低于400ms。而音视频的清晰度和晦涩度跟场景是严密关联的，不同的场景对清晰度的要求不同。Volvet 认为保障良好的通信链路是获得好的音视频体验的要害。第一步要找到适合的高速公路入口，抉择适合的接入数据中心。常见的做法有两种，全局调度时采纳地区就近准则，或是客户端抉择最优链路来建联。第二步是动静路由布局，有时候两点之间的最短距离不肯定是直线，抉择最佳的路线能力兼顾音视频通信品质和服务器资源损耗。拍乐云构建的PANO Backbone（寰球实时传输减速网络）就是一个多DC的多级调度的分布式系统，在链路优化上做到了最佳成果。在Volvet看来，拥塞管制的指标就是尽量避免因为拥塞而导致的丢包和抖动的产生，在这个角度上网络评估模型有其至关紧要的作用。但在理论场景中，无奈齐全躲避弱网的呈现，在抵制弱网的伎俩中，罕用丢包重传和前向纠错编码用于抵制丢包；JitterBuffer用于抵制网络抖动。日漫《钢之炼金术士》中炼金术的准则是等价交换，所有抵制弱网的伎俩都须要付出代价，也能够被认为是等价交换，从这个角度上说，奥卡姆剃刀准则和NFL (No Free Lunch) 原理也同样实用于领导拥塞控制算法的设计。拍乐云的核心技术团队已专一于音视频畛域开发近二十年，在音视频编解码、网络传输、弱网反抗与 QoE、回声打消、实时通信组网与路由、高并发的流媒体散发等方面均达到了国内顶尖程度。目前的产品矩阵包含：语音通话、视频通话、互动白板、互动直播等，提供全平台原生SDK与多种跨平台SDK，企业和开发者可在寰球范畴内疾速实现互动小班、超级小班、双师大班、语音聊天室、视频社交、直播连麦、游戏语音、视频客服、近程医疗、办公合作等场景。 将来，拍乐云会基于技术上的一直冲破，摸索行业用户在多媒体通信场景中的痛点解决方案，为开发者提供更多的产品翻新和设想空间，为用户提供更加优质的音视频体验。

前言过来的一年曾经表明，在线交换对咱们的生存至关重要。无论你身在何处、可用的网络条件如何，分明地理解彼此之间的分割变得前所未有地重要。因而，咱们在2月推出了Lyra：一种革命性的新型音频编解码器，它应用机器学习的劣势来产生高质量的语音呼叫。为了使通用的最佳编解码器广泛可用，咱们凋谢了Lyra的源代码，使其余开发人员能够为其通信应用程序提供反对，并朝着弱小的新方向倒退Lyra。此版本提供了开发人员应用Lyra进行音频编码和解码所需的工具，Lyra已针对64位ARM安卓平台进行了优化。咱们心愿与社区一起扩大此代码库并开发对其余平台的改良和反对。 01 Lyra的体系结构 Lyra的体系结构分为编码器和解码器两局部。当有人在电话里讲话时，编码器会从他们的语音中捕捉独特的属性。这些语音属性（也称为特色）以40ms的块提取，而后压缩并通过网络发送。解码器的工作是将性能转换回能够在听众的电话扬声器上播放的音频波形，通过生成模型将特色解码回波形。生成模型是一种非凡类型的机器学习模型，非常适合从无限的性能中从新创立残缺的音频波形。Lyra架构与传统的音频编解码器十分类似，传统的音频编解码器曾经成为互联网通信的骨干力量，已有数十年的历史了。这些传统的编解码器基于数字信号处理（DSP）技术，而Lyra的次要劣势来自生成模型重建高质量语音信号的能力。02 Lyra对将来音频的影响 在过来十年中，只管挪动网络继续稳步发展，但挪动设施运算能力的爆炸性增长仍然超过了牢靠的高速无线基础架构的解决能力。对于存在这种反差的地区，尤其是发展中国家，下一个十亿互联网用户将上网，这种技术将使人们之间的分割更加严密的心愿依然渺茫。即便在连贯高度牢靠的区域，异地工作和近程办公的呈现也进一步限度了挪动数据的限度。尽管Lyra能够将原始音频压缩到3kbps的品质，从而与其余编解码器（例如Opus）相比品质不错，但它的指标不是成为一个残缺的代替计划，而是能够在这种状况下节俭有意义的带宽。 这些趋势为Lyra提供了能源，也是咱们的凋谢源代码库专一于其实时语音通信后劲的起因。咱们认为还有其余利用，Lyra可能特地适宜，例如，存档大量语音，通过利用计算便宜的Lyra编码器节俭电池，缓解紧急情况下，许多人同时打电话的网络拥塞。咱们很快乐看到开源社区以Lyra闻名于世，以提出更独特，更具影响力的应用程序。 03 Lyra的开源版本 Lyra代码应用C++编写，以实现速度，效率和互操作性，并应用带有Abseil的Bazel构建框架和用于全面单元测试的GoogleTest框架。外围API提供了用于在文件和数据包级别进行编码和解码的接口。还提供了残缺的信号处理工具链，其中包含各种滤波器和变换。咱们的示例应用程序与Android NDK集成在一起，以展现如何将本机Lyra代码集成到基于Java的android应用程序中。咱们还提供了运行Lyra所需的权重和矢量量化器。 咱们明天将Lyra作为Beta版本公布是因为咱们心愿使开发人员可能取得尽快的反馈。因而，随着开发的深刻，API和比特流很有可能会发生变化。除数学内核外，所有运行Lyra的代码均依据Apache许可凋谢源代码，为此提供了共享库，直到咱们能够在更多平台上实现齐全凋谢的解决方案为止。既然Lyra是开源的，咱们期待看到人们对Lyra的解决。在GitHub上查看代码和演示，让咱们晓得您的想法以及打算如何应用它！ 拍乐云始终关注RTC前沿技术的最新动向，致力于摸索行业用户在实时互动场景中的痛点解决方案，为用户提供强互动、沉迷式的音视频体验。也欢送更多对音视频技术感兴趣的敌人能与咱们交换，独特敲开将来RTC之门。 文 / Andrew Storus & Michael Chinen - Chrome 原文链接 / https://opensource.googleblog... 译者 / 拍小编

线上会议、在线教育、电商直播等多个场景的衰亡，也使得实时互动技术从幕后走到台前，失去了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相干的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？声网Agora 开发者社区联结 InfoQ 独特策动，邀请了声网Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码规范倒退、WebRTC、机器学习、音频技术等角度，独特撰写「2021 实时互动技术瞻望系列」，一窥技术新趋势。本文作者，南京大学陈浩、马展、刘浩杰。本系列内容由声网 Agora 开发者社区 与 InfoQ 联结策动，并由 InfoQ 审校，首发于 InfoQ。实时视频通信未然成为以后互联网利用的亮点。特地在这疫情期间，寰球都在“被隔离”，无奈发展线下流动，更加迫切的须要以实时视频通信为技术撑持的各种虚构线上交换。在可见的数年内，稳固高质量的互联网实时视频通信是各行各业的迫切需要，协同停工复产，帮忙经济复原；当用户习惯逐步养成，实时视频通信又将成为生产生存的根本配置。 从利用的角度看，用户对服务的需要和网络基础设施永远是一对不可和谐的矛盾。以实时视频通信为例，咱们永远无奈保障网络的全时稳固，弱网环境长期存在，特地在很多关乎到生存、生产乃至生命的关键时刻，通信网络往往受到极大的物理条件限度，如海事作业、应急救灾、高并发场景等。因而咱们更加须要摸索新实践新办法来无效的剖析、精准的建模、精确的预判，以期实现弱网极限环境下（如极低带宽 <50kbps, 极不稳固网络抖动，极大时延等）的高质量实时视频通信。 过来的 5 年，咱们南京大学电子学院团队在实时视频通信下做了一系列的摸索工作，搭建了以互联网云游戏/云 VR 为利用的实时视频通信平台（https://www.anygame.info/） ，嵌入人工智能（AI）办法驱动自适应网络带宽调节和端到端用户体验优化。目前，该平台仍然每天反对数百上千名用户实时操作，也帮忙咱们继续优化和更新，笼罩更多的利用场景。 近期乃至将来，咱们认为实时视频通信的外围问题还未失去解决，特地是弱网下的高质量保障，而这些 corner case 往往是服务水平的直观体现。面对弱网的各种限度，咱们提出极限实时视频通信： 第一次尝试实现全链路 AI 管制（包含编码和传输）从 AlphaGo 开始，强化学习在工作决策方面展示了不凡的能力；三年前，咱们提出基于强化学习的网络流控，自适应侦测调节带宽反馈给发送方优化视频压缩；这样的过程尽管带来了可见的成果，然而并没有真的解决网络流控和视频压缩流控的外围矛盾；网络流控的难点在于异构性，视频压缩的流控难点是内容多样性。近期，咱们将强化学习的决策机制同时涵盖编码和传输，全链路 AI 管制（状态采集，决策预判），实现更加精准的带宽管制； 基于 IP 的分组替换网络在视频传输网络中占据主导地位，使得端到端网络的吞吐量、提早等状态具备很高的时变性，并且在不同的用户之间因为网络资源竞争使得这些网络状态随工夫动静稳定。另一方面，因为实时视频通信要求的刻薄时延和视频内容复杂度差别，难以实现良好的码率管制。这使得难以通过对网路和内容建模生成对立、固定规定的码率自适应算法。 受人类行为决策思维启发，咱们引入强化学习实践和工具，综合思考视频编码与网络传输端到端流程，提出了基于强化学习的全链路网络流控，其零碎框图如图 1 所示。智能体首先察看以往实时视频通信会话的教训，即从视频编码器和接收端收集的编码状态、网络和播放状态，应用神经网络开掘编码和传输过程中视频内容和网络的潜在特色，并做出编码参数设置的决策。视频应用程序的发送端基于该决策编码和传输视频，在接收端进行解码播放后，产生新的状态，同时向智能体反馈以后决策的处分。基于此处分信号，智能体以最大化累积处分为指标不断更新神经网络参数。最终，咱们仅通过观察和学习编码、网络和播放的原始状态，对视频编码参数进行自适应调整，无效反抗网络稳定的同时，无效晋升用户体验品质（Quality of Experience, QoE）。 图 1 基于强化学习的全链路网络流控示意图 为评估基于强化学习的全链路网络流控的性能，咱们选取以后先进的谷歌拥塞管制（Google Congestion Control，GCC）和瓶颈带宽与往返时延（Bottleneck Bandwidth and Round-trip time，BBR）算法进行了比照试验，后果如图 2 所示。能够看出，绝对于 GCC 和 BBR 算法，咱们能够晋升别离 3.6%和 27.9%的归一化均匀 QoE 分数。其中，咱们以所有测试样本获得 QoE 的最小值与最大值进行归一化解决。 ...

线上会议、在线教育、电商直播等多个场景的衰亡，也使得实时互动技术从幕后走到台前，失去了更多人的关注。编解码、网络传输、计算机视觉等 RTE 相干的一系列技术也正焕发出更强的生命力。2021 年，在深度学习、5G 等技术的加持下，RTE 会进一步催生哪些可能？声网Agora 开发者社区联结 InfoQ 独特策动，邀请了声网Agora 开发者社区中的多位技术专家，从视频传输、计算机视觉、编解码规范倒退、WebRTC、机器学习、音频技术等角度，独特撰写「2021 实时互动技术瞻望系列」，一窥技术新趋势。本文作者，宋利，上海交通大学传授，声网Agora 开发者社区 MVP。本文首发于 InfoQ，由声网 Agora 开发者社区 与 InfoQ 联结策动，并由 InfoQ 审校。疫情暴发至今一年多的工夫里，很多行业在疫情期间都备受打击，然而也有一些行业“因祸得福”，快速增长，包含在线教育、在线诊疗、在家办公、在线买菜、在线直播等。这些在线业务行业，均要大量利用音视频直播技术，在音视频直播技术的背地有两项关键技术在撑持：实时通信技术（Real-time Communication）与实时渲染技术（Real-time Rendering）。目前二者正在与实时生成技术相结合，为咱们带来更好的实时沟通体验。 RTC 技术与实时渲染技术RTC（Real-time Communications），实时通信，是一个正在衰亡的风口行业，其强调“实时”即 Real-time，提早在毫秒级别，反对强互动，最典型的利用就是直播连麦和实时音视频通信。 提到直播，还有一个重要的技术叫做 CDN：内容散发网络，简略地说就是将网站/利用的图片、音频、视频等素材提前传输到间隔用户更近的 CDN 节点上（在物理层面就是电信机房里的服务器），当用户拜访时就能够就近疾速下载、缩小期待。当初有一些平台通过 CDN 来实现直播，然而 CDN 的技术机制实践上会有 5-10 秒的提早，在浏览图片、短视频等素材来说用户感知不显著，对于不须要实时强互动的直播，比方体育赛事网络直播、演唱会网络直播、新闻现场直播，提早在 5-10 秒之间则是能够承受的。 而像前文提到的办公、教育、社交、医疗、娱乐这些直播应该对互动有十分高的要求，5-10 秒的提早是无法忍受的，一方面画面会存在延时、卡顿、含糊、杂音、回声等常见问题；另一方面，实时互动基本没法用，游戏或直播中的连麦，近程医疗医患对话，直播小班课老师学生间的答疑，须要探讨的视频会议……实践上都要做到跟移动电话一样低延时、高接通和强互动，否则不只是体验不行，而是没法用。正是因为此，视频会议、社交直播、小班课、游戏开黑等互动要求高的场景，RTC 技术基本上已成为惟一抉择。国内的 RTC 服务供应商包含声网、腾讯云、阿里云等。 RTC 技术比较复杂，不只是须要专门的网络节点，同时对网络架构、通信协议、软件算法和利用机构都有特殊要求。一个残缺的实时音视频零碎包含以下几个局部： 此外 RTC 对数据传输的及时性的要求通常要高于可靠性的要求。如发送端采集的一帧编码数据失落了，对于接管播放端可能并没有太大的影响，接管播放端能够利用收到的后面和前面的帧，通过补帧等技术，实现同样好的用户体验，再如一帧音频数据失落了，接收端能够用 NetEQ 等技术，依据收到的后面和前面的数据，用算法填上这一帧的数据，而不会升高用户体验。 实时渲染（Real-time Rendering）次要用于实时图像生成与剖析解决，负责渲染直播画面、直播特效等等，如美颜、动画表情互动、礼物特效，提供更加个性化、人性化的应用体验。实时渲染关注的是交互性和实时性，个别制作的场景须要进行优化以进步画面计算速度并缩小延时。 实时渲染技术随着计算机图形学的倒退在继续提高。2000 年之后，3D 图像渲染 GPU 曾经成为台式机标配，CGI 开始无处不在，预渲染的图形在迷信上简直是实在照片级的。这期间的工作次要集中在集成更简单的多阶段的图像生成。纹理映射也曾经倒退为一个简单的多阶段过程，应用着色器（shader）将纹理渲染、反射技术等多种算法集成到一个渲染引擎中的操作并不少见。2009 年电影《阿凡达》使用动作捕获技术为角色生成动画，可能将动画间接叠加到实时拍摄的图像上，真正实现了高质量的实时渲染。软件方面 OpenGL 也开始成熟。不久前英伟达公布的 DLSS 2.0（Deep learning super sampling），依据官网宣传，能够保障渲染程序在较低分辨率下对游戏画面进行实时光线追踪，而 DLSS 2.0 则会将渲染后的画面进行 4 倍超采样，从而保障细节与帧率的兼顾，标记着实时渲染技术有了新的冲破。 ...

因为疫情起因很多公司都抉择线上办公，让我对实时音视频倍感趣味，所以决定理解下。 首先来画个饼，说下我的相熟理解的过程。 理解下 webRTC 是个什么，能做什么。选一家能够做实时音视频的三方集成试验下，同时也想具体理解小他们是如何实现的。调研是了几家：腾讯，声网和融云，这三家，最初选中了融云。首先说下为什么抉择了融云：首先作为集体开发者，而且是对这块想理解的用户，融云在我注册后给我了很快的回访，我阐明我的须要还有人很粗疏的介绍了下，体验不错。就那你先试试吧，不过有点不给力的是，集成中遇到些问题，不过提工单还是解决了。尽管过程稍微有点磕磕绊绊~~~~ 首先依照画饼的步骤说下 WebRTC WebRTC 简介WebRTC 是一个由 Google 发动的实时通信解决方案，其中蕴含视频音频采集，编解码，数据传输，音视频展现等性能，咱们能够通过技术疾速地构建出一个音视频通信利用。 尽管其名为 WebRTC，然而实际上它不光反对 Web 之间的音视频通信，还反对 Android 以及 IOS 端，此外因为该我的项目是开源的，咱们也能够通过编译 C++代码，从而达到全平台的互通。 WebRTC 架构介绍 咳咳~~ 介绍说的有点僵硬，这个查 WebRTC 相干资料室看到的。不过集体看架构图还是钻研了下，有点播种的大家也能够细看看，有不明确的能够深刻理解下，很有意思的 再说下集成融云音视频的一些问题： 下载了 Demo，跑步起来，报了个 RongRTC-3.2.3.js:8335 Uncaught (in promise) DOMException: Failed to execute 'setLocalDescription' on 'RTCPeerConnection': Failed to parse SessionDescription. m=video 9 UDP/TLS/RTP/SAVPF 98 99 96 97 100 101 127 Invalid value: 获取本地资源失败说说我是如何解决的吧： 先说第二个问题吧。获取失败是因为我开了两个浏览器，有一个浏览器曾经占用了资源，在第二个浏览器拜访时就报了资源获取失败。好吧~只能这样了，那就不必两个浏览器呗~~~ 再说问题一，因为原本就是抱着学习的态度去理解 RTC 一看报了 RTCPeerConnection 很感兴趣，正好能够好好梳理下。说以理解了下 RTCPeerConnection 和 SDP RTCPeerConnection: 一个 RTCPeerConnection 对象容许用户在两个浏览器之间间接通信。 ...

作者：声网Agora 林硕 前言 2018到2020年正值视频婚恋社交行业的风口期，米连仅在RTC局部费用反对从50W飙升到5000W。客户在与泛滥竞品的博弈中如履薄冰，必须继续翻新才得以保住头部地位。RTC品质的稳定性也早已成为客户的生命线，因而客户对实时音视频、旁路推流品质稳定性、线上问题疾速剖析定位、用户体验优化等方面对服务提出了更高的要求。随同客户的成长，风雨同舟咱们一路走来，在帮忙客户胜利的路上我也感到肩上重任。作为接口人的我依据客户不同阶段的特点也在踊跃自我调整，更有针对性地为客户最无效的帮忙。然而回头反思仍有诸多不完满之处。特此做出小结，与各位汇报的同时也与客户共勉。 第一阶段：摸索 2018年11月13日入职声网后第一次访问客户，我的第一印象是：一间拥挤二十多人的三居室。在有余 9㎡ 的单间中跟CTO探讨测试音视频参数。过后伊对APP性能简略设计奢侈，场景只有红娘撮合的三人视频相亲。在田间地头、卧室客厅、站卧坐躺......没有亮堂的直播间、业余的声卡、规范的话术。少一分虚夸，多一分实在。 三人视频相亲 & 七人视频娱乐房 三人视频相亲场景音视频参数调优 【摸索阶段特点】 设施性能差但体验不能差：伊对最终用户大多散布在三四线城市，处于频繁试新阶段，总体音视频用量不大，最终用户大多应用千元Android机，网络品质总体较差，用户也在各种场景难以标准。所以米连研发团队十分须要借助AgoraSDK的宽泛适配性、SD-RTN的弱网反抗等性能最大水平优化用户体验，帮忙客户在最艰巨的期间博得客户的三四线城市用户Android机型散布 人手不足但必须三头六臂：客户团队从"电商"、"直播"到"线上相亲"通过屡次转型调整。人手不足就加班加点、人不业余就多做调研，在最艰巨的环境中却没有放弃对技术以及产品体验的要求。CTO经常亲自上阵，既要实现代码编写、测试、发版；又要做广告推广、市场调研确认产品后续倒退路线；还要解决线上各种技术和非技术问题。【服务姿态】 让客户体验最新的音视频技术：举荐客户紧跟最新版本SDK，声网每次发版客户也会第一工夫降级。一方面客户享受最前沿的音视频技术，晋升最终用户的体验；另一方面收集客户应用新版本的问题和需要，继续推动外部优化晋升SDK的稳定性、易用性。以用户视角给出产品和技术倡议：因为客户测试发版尚未建设残缺的流程，线上容易呈现一些未被发现或者未被反馈的问题。我会利用业余时间体验伊对APP，站在普通用户的视角，记录反馈遇到的问题以及音视频、UI逻辑方面的优化倡议，帮忙客户优化音视频体验、交互流程体验、业务流程体验。线上调试案例并积淀通用问题排查计划：泛娱乐客户个别都音视频品质敏感度不是很高，偶现的卡顿问题个别不会反馈，所以针对反馈的问题，我会分外器重并争取在第一工夫解决。记得客户初期最常见的问题就是回声问题，面对回声运维人员以及最终用户通常不知所措。我第一次收到问题反馈是在凌晨的地铁上，于是第一工夫跟红娘近程，并定位产生回声的起因以及躲避计划。并且将这一类问题造成最佳实际，赋能给客户运维团队并造成红娘音视频设施及常见问题领导标准。后续客户根本没有再反馈过回声问题，根本实现95%回声问题在一线消化，大大提高客户运维团队成就感。旁路推流架构图及问题考察伎俩 回声问题排查思路及解决计划 第二阶段：匀高速增长 2019年6月随着蓝驰创投千万级A轮投资以及视频婚恋社交市场的井喷，大量竞争对手涌入这片蓝海，逼迫米连不得不再减速...... 【匀高速增长阶段特点】 稳固是生命线：因为强劲的宣传力度，客户用量放弃继续高速增长：每月PCC和PCU同比继续翻倍。客户过后的要求是：服务端所有资源每月底都需依照上个月峰值用量300%进行扩容，务必确保上量期间用户体验不掉线。新场景疾速迭代：随着竞争的愈演愈烈，获客老本在继续升高，因而进步客户留存率变得愈发重要。客户的市场策略也从仅提供"相亲服务"向集"社交"、“娱乐”多功能与一体的线上青年社区转型。因而须要以最小老本、最快速度构建新场景，试探用户以及市场的接管度。【服务姿态】 稳当的降级策略：不再举荐最新版本给客户，而且举荐通过较多客户验证过的版本。并且全程深度配合客户测试过程，及时处理测试过程中遇到的问题，最大水平升高版本迭代对业务稳定性的影响。联合多产品线综合晋升客户体验：客户服务端监控、CDN观众拉流失败应急计划都变成辣手的问题。为了无效帮忙客户优化体验，我联合声网多产品线能力继续帮忙客户晋升对客户数据的收集能力以及异样场景的应答能力。同时最大水平进步客户黏性，构建技术壁垒。 频道内观众端：减少秒开体验，作为弥补策略减少弱网用户在CDN拉流失败时继续观看直播的成功率；服务端回调：帮忙客户服务端可能监控频道内主播退出频道、来到频道事件，并进行全网播送告诉和推送；流音讯：作为可靠消息备用通道，补强控制指令传输的实时性；外部推动品质通明的同时增强人工告警：在客户用量疯狂增长的阶段，体验问题也如潮水般涌来。为了升高客户运维团队压力，帮忙客户疾速辨认最终用户反馈的问题是区域问题还是个例问题，我帮忙客户制订了一系列的保障措施： 短期计划：减少现场保障，确保微信群第一工夫响应。帮忙客户判断上报问题的类型，赋能客户运维团队通过水晶球疾速定位简略问题，简单问题记录必要信息放慢解决效率；中期计划：在品质通明我的项目落地前，旁路推流、SD-RTN品质抖动或者后盾变更在及时向客户通告，将影响降到最低；长期计划：继续推动声网旁路推流产品团队落地品质通明我的项目，继续细化客户监控需要，继续将声网监控指标与客户监控指标对齐升高单方沟通老本。疾速确认新场景计划：与米连产品和技术负责人间接探讨新场景需要，联合以后产品组合，帮忙客户以最低老本、最小投入、最短时间上线新场景。语音KTV场景通过流音讯实现歌词同步的计划 第三阶段：精细化经营 【精细化经营阶段特点】 随同上量带来问题复杂化：随着PCU、PCC长期稳固在五位数以上，一般问题曾经能够疾速定位，简单问题开始减少。然而绝对个例问题，客户更加关注全局品质、突发异动以及潜在的隐性问题。谋求高性价比的服务体验：随着竞品的虎视眈眈以及财务压力，客户冀望能够享受到性价比最高的实时音视频服务。【服务姿态】 用户行为大数据挖掘为客户决策提供数据撑持：2020年6月客户频道内观众端数量进步了600%，然而服务端监控发现视频总体卡顿率也从1.3%升高了三倍。与数据团队、产品团队深度单干，从多维度进行问题剖析： 应用4G网络的主播和频道内观众：视频卡顿率周期性稳定。国内其余泛娱乐行业用户也有同样法则，海内其余泛娱乐行业用户没有这样的法则；应用WIFI网络的主播和频道内观众：视频卡顿率没有周期性稳定。国内其余泛娱乐行业用户也没有周期性稳定，海内其余泛娱乐行业用户也没有周期性稳定；2020年6月频道内观众端分钟数比照5月进步6倍，HD频道内观众端单日新增150W分钟，HD观众的上行带宽达到1.8Mbps比SD观众上行带宽减少3倍；2020年6月主播SD分钟数升高50%，升高的分钟数变成主播HD分钟数，单日主播HD分钟数减少500W分钟，HD主播下行带宽达到1.2Mbps比SD主播下行带宽减少3倍。2020年4月-8月米连WIFI/4G用户视频卡顿率统计 2020年4月-8月米连主播/观众分钟数统计 米连最终用户地区散布统计 国内某大型泛娱乐行业客户4G用户视频卡顿率呈周期性稳定 海内某大型泛娱乐行业客户4G用户视频卡顿率没有周期性稳定 所以初步论断是：2020年6月11日开始总体视频卡顿率升高的起因是：频道内观众端用量减少6倍，并且HD主播和频道内观众单日减少650W分钟。其中应用4G网络的主播和频道内观众端用户视频卡顿率升高并随日期周期性稳定。导致总体视频卡顿率升高并随日期周期性稳定。4G用户卡顿率周期性变动的起因通过抽样剖析是用户包月流量用完，导致运营商限速在1Mbps，导致卡顿率减少。 后续优化指标&计划： 与数据团队深度单干，继续摸索是否还有其余维度能够剖析下卡顿率升高的起因，重点比照CDN观众端拉流视频卡顿率是否有同样的稳定，并与后盾评估MCU计划对相似问题有多大的缓解和帮忙；以目前卡顿率为参照，后续继续优化卡顿率，争取将全网视频卡顿率升高到1%以内甚至更低；逐步落地升高卡顿率的计划： 短期计划：弱网Fallback订阅小流中期计划：NASA二期打磨后举荐客户降级SDK版本

摘要：云原生时代，视频直播、实时音视频通信等在线音视频服务面临各种简单的网络环境和流量爆发式的增长，对音视频品质监控和老本优化提出新的严厉挑战。2020年是不平庸的一年，主观来说它促成了咱们音视频业务的爆发式增长。华为云基于大容量、低时延、全互联的媒体网络，通过全国的2000多个节点和几百T的宽带，和咱们的客户一起服务了亿级在线用户。在这个过程中，通过大数据晋升视频体验品质和老本优化显得尤为重要，同时华为云也积攒了一些教训。明天来自华为公司，在大数据和音视频业务畛域有十多年研发教训的康永红，将和大家分享云原生时代，华为云在音视频品质监控与优化方面的实际。 本次分享次要分为四局部： 第一局部是云原生时代如何疾速构建音视频数据服务体系； 第二局部是华为云直播和RTC音视频服务体验品质优化实际； 第三局部会介绍华为在云原生时代是如何疾速构建音视频服务全流程品质监控平台； 最初总结和瞻望音视频业务体验品质的思考和技术布局。 音视频体验发展趋势及背地技术撑持的挑战 从音视频体验的发展趋势来看分为直播、RTC和XR三代，能够演绎为两个特点：第一点是用户体验越来越实在，传输分辨率从720P到1080P、再到XR的4K、6K、8K、乃至更大；另一点是业务要求互动性越来越强，迟延方面从30s到XR不超过100ms，对提早要求更低。 基于以上品质体验的发展趋势，咱们须要有一个后盾技术撑持。咱们在应用大数据解决撑持的过程中也经验了三个阶段：首先是5年前用大数据平台解决技术问题，其次是在3年前用数据中台解决效率问题，第三个阶段是最近两年咱们综合1.0、2.0时代的特点，采纳“中台+可信数据服务”的数据服务中台模式解决价值问题。咱们认为数据服务中台是解决业务差异性和市场不确定性的最佳框架。 在直播中咱们常常会碰到卡顿、实时音视频通话提早等状况，这些问题都会重大影响用户体验。解决这些问题的个别办法是构建音视频品质监控平台，采集数据，用大数据的办法解决监控品质问题。在这过程中，咱们又会碰到一些新的问题，比方采集数据提早很大、失落很多、数据不精确，此外还包含大数据算力不够、交付时延比拟长等等问题。这些体验和技术问题带给咱们很多挑战——包含会在什么场景呈现这些问题，无奈精准确定是网络问题、设施问题还是环境问题，以及这些问题影响了哪些客户等等。 那咱们要怎么解决这些问题呢？在端+边缘计算+云计算的云原生时代，技术上曾经给了咱们一些解决办法。最好的实际是基于“数据湖+数据服务”的云原生数据驱动能力，去解决业务差异性和市场不确定性。这套架构分为六层，咱们通过这六层去解决后盾零碎的绝对稳态及前端业务稳态之间的矛盾。 架构落地的具体实际是基于云服务基础设施，首先咱们构建了对立的音视频数据湖，同时构建从采集、生产到生产的数据价值链，通过这两者联合，反对所有同时在线的几大类服务接入，和面向内外部七类客户，以及包含经营、运维等客户数据服务的QoS、QoE、QoC等三大类七小类的场景诉求。当然仅仅基于这个架构发展体验品质优化工作是远远不够的，这只是技术上的解决办法。 音视频服务体验优化三步走：监控、诊断、晋升从在业务角度登程，咱们认为QoE体验是一个治理的问题，咱们在业务上须要做一些设计，这块咱们构建了音视频服务的体验体系，大抵分为两个大的阶段和三个小的阶段。两个大阶段是先诊断、再晋升，在诊断中分为监控和诊断两个小阶段。 具体开展来看，首先须要构建QoE、QoS的平面实时监控体系以及辅助AI的异样检测办法，做到实时发现问题。第二步在发现问题后用秒级诊断能力，疾速诊断体验起因，这个起因能够具体到用户行为级。基于诊断后果，第三步就须要做体验晋升，个别有两种办法：第一种是依附人工教训做优化，另一种办法是智能调度，咱们在面向不同行业、不同场景的状况下，基于智能调度策略在老本可控的状况下做到用户体验最优。 基于上述体验品质优化体系，接下来我将具体开展分享华为云在视频直播和RTC实时音视频方面的体验优化实际的案例。 音视频服务体验优化实际1——直播体验优化 咱们首先看一下华为云视频直播体验优化实际案例，咱们在做到低时延、不卡顿、高清晰的同时，还实现了老本可控。总体分为三个阶段：第一阶段品质监控，第二阶段问题诊断，第三阶段体验晋升。 视频直播的品质监控，咱们首先构建了笼罩流品质、体验、规模、网络、老本、设施六个维度的平面品质监控体系，涵盖了QoE、QoS、QoC三十多个指标，其中包含帧率、码率等外围的QoS指标，秒开率、卡顿率等QoE体验指标和带宽、回源率等老本QoC相干的指标。 第二个阶段问题诊断——视频直播的秒级品质诊断，这是基于网络数据+端数据构建的直播流全链路监控体系。诊断流程贯通了第一公里主播端监控推流帧率等QoS指标，到网络节点间帧率、码率等QoS质量指标监控，带宽回源率、老本指标，以及最初一公里观众端卡顿、秒开、黑屏等QoE指标。这样就实现端到端实时的秒级监控，如果发现异常状况能够及时反馈给顾客和调度零碎，比方咱们在第一公里发现帧率、码率出现异常，就告诉客户在主播端进行策略调整，如果切实网络发现异常，就做一些节点用户数据调动或其余策略的优化，而当观众端呈现体验异样时，智能调度零碎会做调度策略的调整。以上整个全链路监控零碎笼罩了12路直播全场景和全协定监控。 直播流全链路监控零碎——从第一公里、到媒体网络、再到最初一公里，整个都是可视化的，这样能够晋升问题诊断的效率。 第三步体验晋升，视频直播体验晋升大抵分为两种办法。其一是通过运维同学的教训施行，另一种办法是基于智能调度零碎——基于端、边、云数据协同做智能调度体验优化，这种办法利用了对立视频数据湖技术，实现端、边、云的QoS、QoE、QoC数据的协同，通过智能剖析引擎生成流、客户、网络链路、节点、观众的实时画像，基于实时画像+调度策略由智能调度系统实施智能调度，在老本可控的状况下做到最佳体验。掂量指标次要选取两类指标，一类指标是老本指标，比方通过回源率来掂量老本是否降落；另一类指标为体验指标，通过卡顿率、秒开率等判断用户体验是否有晋升。以上是视频直播在品质监控和体验晋升的一些实际案例。 音视频服务体验优化实际1——RTC体验优化 接下来分享实时音视频RTC的体验优化的实际案例。RTC属于第二代音视频业务，它和第一代直播在业务方面有很多差别，比拟关注时延以及行为级的监控，基于这些差异性，咱们也采纳了三个不同优化体系。 第一点是品质监控，RTC品质监控体系建设了笼罩通话、网络、老本、设施等六个维度的平面品质监控体系，笼罩QoE、QoS、QoC三十多个指标。其中外围指标包含等码率、帧率、丢包率、抖动品质QoS指标和秒开率、时延、卡顿率、入房和选看成功率等用户体验QoE指标，以及带宽等老本QoC指标，与直播监控指标相比，特地是端到端的时延指标，这是基于后面提到的差异性着重关注的。 基于监控体系，第二个工作是问题诊断，咱们首先建设了三类体验品质数据服务，第一类是监控指标数据服务，次要笼罩的是服务端、客户端、设施、QoE、QoS、QoC，这些数据放在统计库、时序库中应用。第二类是网络端所有管制面和媒体面的事件数据服务。第三类是终端事件数据服务，包含终端侧用户行为事件，例如退出房间、切换角色、操作麦克风或摄像头等事件，此外还蕴含了终端设备数据，例如CPU、内存、摄像头等。 基于这三类体验品质数据服务，RTC构建了三层问题诊断体系。 第一层构建是笼罩全链路、全维度的QoE/QoS实时监控体系，能够在分钟级实现体验诊断和疾速复原问题。 第二层监控体系是基于网络行为数据和端侧行为数据的一键式用户个例通话QoS考察能力，它能够帮忙咱们疾速解决RTC业务单用户的体验问题和投诉。 第三层问题诊断能力是在第一层QoE/QoS全局指标监控和第二层QoS行为考察能力根底上的体验问题主动诊断高级能力，它通过监控三十多个指标产生二十多个异样事件，并通过学习模型，给出影响的六类体验场景。这样零碎就能够疾速自动化地判断出体验产生异样的起因，并且疾速传递给客户。 如何构建音视频服务全流程品质监控平台？上述介绍的是华为云RTC业务体验优化的实际案例，做体验品质优化工作是须要平台实现的，咱们上面来分享华为是如何构建音视频服务全流程品质监控平台的。首先从数据采集、传输、计算到生产四个环节的亿级规模音视频品质监控大数据平台，包含反对端、边、云全数据采集和传输的数据网络，反对实时计算、离线计算和机器学习的多模数据处理系统，以及反对运维、经营、客户的数据生产服务体系。 在构建平台时，会遇到很多性能、品质、效率以及实时性的问题，如何构建一个大容量、低成本、高效率和可信数据品质的平台？咱们采纳了批流一体和存算拆散的架构。批流一体解决的是开发效率的问题，咱们同一个指标可能在批流一体中计算一次就能够对所有服务应用，不须要反复开发，同时咱们有一站式数据开发平台能够解决开发效率的晋升。老本问题上咱们采纳的是存算拆散——存储和计算是拆散的，存储采纳的是对象存储，价格绝对低廉，计算引擎采纳的是后面介绍的批流一体的形式，这样能够做到老本最佳。品质方面是采纳了“ODS-DWD-DWS-ADS”四层数据治理平台，保障所有数据可跟踪、可治理，确保任何指标数据都是实时、残缺、精确的。 在有了大容量、低成本的平台后，咱们还面临断网、设施故障等问题。咱们在平台可用性上基于云服务施行，采纳跨Region主备容灾和多AZ模式，整体SLA可达99.99%，来自端、边缘、云等全副六类数据不失落，监控、调度等六类服务不降级。这样咱们在整个环境下，任何环节出现异常，在品质和服务晋升上都能够失常工作。 如何继续保障音视频体验品质三大利器？ 回顾本次分享，音视频体验倒退有三个特点：第一，用户对体验的要求是真实感越来越强，直播、RTC等用户要求更高；第二，在用户体验上要求越来越互动；第三，面对各种网络、终端业务环境越来越简单。 为了保障音视频体验品质，咱们有3个利器：第一，针对不同业务场景，构建“先监控再诊断后晋升”的体验质量体系；第二，基于“数据湖+数据服务”解决用户差异性和市场不确定性的问题；第三，在施行过程中要均衡老本和体验的关系。 对将来音视频业务体验咱们有三点布局方向：一是继续基于端、边、云数据协同来驱动QoE、QoS、QoC优化；二是构建音视频内容品质的智能评估体系；三是建设第三代XR音视频体验品质标准，如沉迷感等。 本文分享自华为云社区《云原生时代，解密华为云音视频品质监控与优化实际》，原文作者：音视频大管家。 点击关注，第一工夫理解华为云陈腐技术~

近年来，随着深度学习技术的疾速倒退，基于AI的超分辨技术在图像复原和图像增强畛域呈现出广大的利用前景，受到了学术界和工业界的关注和器重。然而，在RTC视频畛域中，很多AI算法并不能满足理论场景下的利用需要。本文将着眼于AI技术从钻研到部署的落地问题，分享超分辨技术在RTC畛域落地利用所面临的时机与挑战。 一、超分辨技术概述1. 超分辨技术的提出 超分辨这一概念最早是在20世纪60年代由Harris和Goodman提出的，是指从低分辨率图像，通过某种算法或模型生成高分辨图像的技术，并且尽可能地复原出更多细节信息，也称为频谱外推法。然而在钻研初期，频谱外推法只是用于一些假如条件下的仿真，并没有失去宽泛的认可；直到单张图像的超分辨办法提出后，超分辨技术才开始失去宽泛的钻研和利用。目前，它曾经成为图像增强乃至计算机视觉畛域的重要钻研方向。 2．超分辨技术的分类 单张图像的超分辨办法依据原理不同，能够分为基于插值、基于重构和基于学习的办法。后面两种办法别离因为算法原理简略以及利用场景受限，在理论场景中的超分辨成果并不现实；基于学习的办法，是实际效果最好的超分辨办法，其外围包含两个局部：算法模型的建设，以及训练集的选取。依据算法模型和训练集，基于学习的办法又能够分为传统学习办法和深度学习办法。一般来说，传统学习办法的算法模型比较简单，训练集也比拟小。深度学习办法个别是指采纳大量数据训练的卷积神经网络办法，也是目前学术界钻研的热点。因而接下来我将重点介绍基于深度学习的超分辨办法的倒退过程。 3. DL-based SR SRCNN是深度学习办法在超分辨问题的首次尝试，是一个比较简单的卷积网络，由3个卷积层形成，每个卷积层负责不同的职能。第一个卷积层的作用次要是负责提取高频特色，第二个卷积层则负责实现从低清特色到高清特色的非线性映射，最初一个卷积层的作用是重建出高分辨率的图像。SRCNN的网络结构比较简单，超分辨成果也有待改善，不过它确立了深度学习办法在解决超分辨这类问题时的根本思维。起初的深度学习办法，根本都遵循这一思维去进行超分辨的重建。 起初的 ESPCN、FSRCNN等网络基于SRCNN进行了一些改良，网络层数依然比拟浅，卷积层数不会超过10，超分辨的成果也不是特地现实。因为在过后，深度卷积网络的训练是存在问题的。个别对于卷积神经网络来说，当网络层数减少的时候，性能也会减少，但在理论利用中，人们发现当网络层数减少到了肯定水平，因为反向流传原理，就会呈现梯度隐没的问题，导致网络收敛性变差，模型性能升高。这个问题直到ResNet提出残差网络结构之后，才失去比拟好的解决。 VDSR是残差网络以及残差学习思维在超分辨问题上的首次利用，将超分辨网络的层数首次减少到了20层，长处是利用残差学习的形式，间接学习残差特色，网络收敛会比拟快，超分辨成果也更好。起初一些卷积神经网络提出了更简单的构造， 比方SRGAN提出应用生成式反抗网络来生成高分辨的图像，SRGAN由2局部组成，一个是生成网络，另一个是判断网络。生成网络的作用是依据一张低分辨率的图像来生成一张高分辨的图像，而判断网络的作用是将生成网络生成的高分辨图像断定为假，这样网络在训练的时候，生成网络和断定网络两者之间一直博弈，最终达到均衡，从而生成细节纹理比拟真切的高分辨图像，具备更好的主观视觉效果。其余深度卷积网络办法比方SRDenseNet、EDSR、RDN，应用了更简单的网络结构，网络的卷积层越来越深，在单张图像上的超分辨成果也越来越好。 超分辨技术倒退的总体趋势，基本上能够概括为从传统办法，到深度学习办法，从简略的卷积网络办法到深度残差网络办法。在这个过程中，超分辨模型构造越来越简单，网络档次越来越深，单张图像的超分辨成果也越来越好，不过这也会有肯定的问题。 二、实时视频工作的需要与SR的挑战 在RTC畛域，对于视频解决工作来说，大多是直播和会议等即时通信场景，对算法的实时性要求比拟高，所以视频解决算法的实时性是优先思考的。而后是算法的实用性，因为用户在应用直播或会议时，摄像头采集到的视频品质有时比拟低下，可能蕴含很多噪点；另外视频在编码传输时会先进行压缩，压缩的过程也会导致图像画质进化，所以RTC理论利用场景比较复杂，而很多视频解决办法，比方超分辨算法在钻研中的是比拟现实的场景。最初，如何晋升用户尤其是挪动端用户的体验，缩小算法的计算资源占用，实用更多终端和设施，也是视频工作所必须思考的。 对于这些需要，目前的超分辨办法尤其是基于深度学习的超分辨办法是存在很多问题的。目前学术界对于超分辨的钻研大多还是局限在实践阶段，图像超分，尤其是视频超分如果要大规模落地的话，必须要去解决一些理论问题。首先是网络模型的问题，目前很多深度学习办法为了谋求更好的超分辨成果，采纳的模型规模比拟宏大，参数量越来越多，会消耗大量的计算资源，在很多理论场景无奈实时处理。其次是深度学习模型的泛化能力问题，对于各种深度学习模型来说，都会存在训练集适配的问题，在训练的时候所应用的训练集不同，在不同场景上的体现也不同，用公开数据集训练的模型，在理论利用场景中未必会有同样良好的体现。最初是实在场景下超分成果的问题，目前学术界的超分办法，大都是对于比拟现实的场景，实现从下采样图像到高分辨图像的重建，但在实在场景中，图像进化不仅包含下采样因素，还会有很多其余因素，比方图像压缩、噪点、含糊等。 综上而言，目前基于AI的超分辨办法，在RTC视频工作中，所面临的次要挑战能够概括为，如何凭借规模比拟小的网络来实现具备良好实在成果的视频品质加强，也就是怎么样“既叫马儿跑得快，又让马儿少吃草”。 三、视频超分辨技术的倒退方向首先，深度学习办法仍然会是超分辨算法的支流。 因为传统的办法在超分辨工作上的成果不够现实，细节比拟差。深度学习办法为超分辨提供了一条新的思路。近年来基于卷积神经网络的超分辨办法，逐步成为支流办法，成果也在一直改善。 从上图能够看到，近几年来，基于AI的超分辨办法绝对于传统办法的论文数量呈现出一边倒的场面，并且这种场面在将来几年还会进一步扩充。因为尽管存在一些问题，但随着一些轻量级网络的呈现，深度学习办法未来在落地利用方面可能会有更大的冲破，这些问题也将会得以解决，深度学习办法仍然会是超分辨的支流钻研方向。 其次，一些参数较小的轻量级网络，在推动超分算法落地方面，会施展更大的作用。 因为目前各种深度卷积网络办法，比方EDSR、RDN这类深度残差网络难以满足视频实时传输的须要，一些比拟小的轻量级网络对于实时工作会有更好的成果。 第三，未来的超分辨办法会更加聚焦实在场景工作。 学术畛域的SR办法多是针对下采样问题进行超分，在实在场景下的体现并不是很好，在实在场景中，图像进化因素是各种各样的，一些比拟有针对性的办法，比方蕴含压缩损失、编码损失以及各种噪声的超分辨工作，可能会更加实用。 四、网易云信AI超分算法 在RTC畛域中，因为视频文件过于宏大，咱们须要对其进行编码，而后再传输到接收端解码播放。因为编码的实质是对视频的压缩，当网络比拟差时，编码量化参数会比拟大，会造成重大的压缩，导致输入图像产生块效应和其余失真，造成画质含糊。这种状况下，如果间接将解码后的视频进行超分，压缩损失也会被放大，超分成果往往不够现实。针对这些问题，网易云信提出了基于编码损失还原的视频超分辨办法，采纳数据驱动和网络设计并重的策略，通过数据处理模仿实在失真场景，并且从模型设计到工程化实现进行层层优化，对于制约AI超分技术的两大问题有了肯定的冲破，在模型实时性和实在场景超分成果方面获得了不错的成果。 以上就是网易云信在推动AI驱动的超分技术落地利用方面的一些实践经验，心愿对大家有所启发和参考。 更多技术内容欢送关注微信公号 【网易智企技术+】

总体来看，通信倒退经验了几个阶段-音讯(电报)-语音通话-视频通话-AR/VR，当然声音在其中是少不了的，即便在视频和AR/VR阶段，都须要有声音的交换，总不能视频上光白活没声音吧。本文就分享一下在实时通信畛域音频编解码的一些经验和教训。 音频编解码其实有很多种，在不同畛域有不同的利用，要了解这个首先要从人谈话和人耳朵听到声音的频谱范畴说起，人谈话的声音频谱能量范畴大部分散布在300~3400HZ，而人耳能听到声音的频谱范畴个别为20~20000HZ，所以人耳是能够听到除人谈话外的自然界的很多其余声音的，像乐器，自然界，尖鸣声等等。当然每个人都会不太一样，B站上有个能够测试本人听觉范围的，链接在上面，大家能够去试试(当然高频的时候如何有任何不适，自己概不负责)。 https://www.bilibili.com/video/BV1Xs411s7qo?from=search&seid=12278321081543626393 同时科学界奈奎斯特定理表明，通过2倍于最高频率进行采样的，就能够残缺的还原模拟信号。理解了这两个原理后，上面对音频编解码的利用就能够比拟好的了解了。先看一下音频编码和解码的整体流程人谈话的声音通过数字采样后，即为PCM原始采样数据，从图中能够得悉，不过什么编解码类型，都是将PCM编码压缩不便传输，而后再解码复原成PCM的过程。 首先看在晚期的固定电话期间，固话期间的编解码次要有G.711a/u；G.729；G.722；G.723；G.726等等；这些编解码根本都是应用8KHZ的采样的，因为过后的通信只是次要是人与人之间谈话，8K采样率足以笼罩人谈话声音的最次要局部能量范畴了。最后的G.711a/u属于无损编码，然而因为要64Kbps的速率(然而ADSL电话线的速率也就是64K带宽)。 不晓得还有多少敌人晓得ADSL上网，最后就是用这64K的电话线传输，然而G.711把带宽占光了，还怎么传输数据呢，因而后续逐步被压缩率更高然而成果也不逊色的G.729，G.726等编解码取代应用。其中G.722属于比拟闻名的一个系列，G.722.1是polycom研发的编解码，而G.722.2就是AMR-WB+，上面提到的AMR-WB的超宽带版本。接下来到了挪动通信(2G/3G)时代，因为通信的内容依然是人与人之前的谈话，所以编解码依然是采纳语音编解码，挪动侧次要是应用的AMR(Adaptive Multi Rate-Narrow Band Speech Codec)，AMR-WB(别离是窄带AMR和宽带AMR)。窄带AMR尽管依然应用8K采样，然而从其全称能够看出，编解码自身是多速率(8种速率模式)，并且是能够切换的，这个个性的次要起因我认为是适应无线信道和传输通道的状况来自适应。举个例子，能够设想一下，一个基站，如果有10部手机通话和100部通话，每部手机被调配的信道带宽必定是不一样的，速率变换则能够依据信道状况进行灵便的速率切换，从而保障更多人的通话。再往后就是Volte(4G)，也就是大家以后在用的，采纳了AMR-WB(Adaptive Multi-RateWideband Speech Codec)；此编解码采纳是16K采样，比原来高了一倍；产生的成果就是时域上每秒多采样8K个数据，频域上笼罩的高频范畴更广，声音细节更丰盛。不过对于消费者体验来说如同未失去大的晋升。然而到了4G时代，随着带宽越来越高，业务倒退越来越丰盛，为了晋升语音清晰度和通话体验，几个大厂推出了EVS高清编解码，并作为进入3GPP的唯一标准，EVS兼容了AMR-NB和AMR-WB，同时反对SWB(超宽带)和FWB(全宽带)采样(最高到48KHZ)，曾经笼罩人耳听到声音的全副频谱范畴了。大家手机上能够看到一个“HD”的标签，这个其实就是E2了。随着EVS的推出以及新业务的推广(像最近的视频彩铃)，大家应该能够感触到更丰盛的声音体验了。当然到了3G/4G时代，随着互联网的倒退，基于互联网的VOIP技术也蓬勃发展起来，然而基于互联网的VOIP比运营商语音通话面临着更加严厉的简单网络状况，毕竟不是专网，因而面临的延时带宽问题更加严厉。VOIP的音频编解码也存在相似的倒退阶段，首先是语音编解码，像iLBC和iSLK，这两种编解码都是GIPS公司开发的编解码技术，被Google收买后，两种编解码技术就用利用在WebRTC技术中并且开源了，ILBC编解码的特点是缩小每个音频编码帧之间的冗余性，每帧独立可解，因而具备了很不错的抗丢包个性。ISAK我理解的不多，除了继承ILBC能力之外，如同是减少了带宽预测性能。红极一时的Skype应用的编解码则是silk，silk编解码对于语音有特地好的编码成果，据说能够使得通话单方听起来像单方在同一个房间里一样(silk源码原来在skype开发者网站凋谢的，不过网站当初无法访问了，能够到github上找下声网技术VP高大神共享上传的源码https://github.com/gaozehua/SILKCodec) 赫赫有名的WebRTC为了晋升语音体验，默认应用的编解码就是Opus(silk编解码和celt编解码的组合)；此编解码器内一个Music detector去判断以后帧是语音还是音乐，语音抉择silk，音乐抉择celt(这款编解码我的确不太熟悉，不过据说高频畛域比AAC弱一些)；同时opus反对PLC(丢包弥补)，具备较好的网络抗丢包个性。其实大家能够看到，WebRTC在google始终是走开源策略，如果不开源，google是不会应用的，像H.264因为不开源，google就另行开发了VP8，VP9，这个在后续的视频编解码里再探讨。 其实音频也不只在通信畛域应用，像AAC(Advanced AudioCoding（高级音频编码）)，是一种由MPEG-4规范定义的有损音频压缩格局，由Fraunhofer倒退，Dolby, Sony和AT&T是次要的贡献者。在应用MP4作为各种内容的容器格局的新多媒体MPEG-4规范中，它是MPEG Layer III / MP3的人造后继者。AAC编解码跟Mpeg4的视频编解码协定相似，也分为多Profile，LC-AAC(低复杂性)和HE-AAC(高效性)，集体了解就是耗费CPU少和压缩率更高。 当然说到RTC技术，必定要提到声网Agora，Agora在19年RTC大会上也开源了自研的编解码协定SOLO。SOLO应该是以Silk为根底，交融带宽扩大(BWE)和多形容编码(MDC)技术，打造出的一款不稳固网络下抗包出众的编解码，至于具体实现我就要去GitHub上学习了。 最近验证应用Agora的RTSA-Lite的SDK库，依照API接口文件形容，反对这四种编解码。能够看出其抉择还是很有针对性的，opus能够无缝的和WebRTC对接；G722能够适应与挪动端通信；而两个AAC系列能够利用在音乐音质要求比拟高的畛域。(不晓得为什么没有SOLO？)最初，随着5G时代的到来，随着内容业务百花齐放，除了通话/音乐外，置信实用于新场景的音频编解码技术也会失去疾速倒退。像VR技术，就须要3D沉迷式的音频技术，像大家都晓得的杜比全景声技术，像object based audio和ambisonics技术；随着网络带宽不再是问题，音频编解码应该不会再辨别音频和音频了，交融是趋势；所谓体验无止境，从而音频编解码技术也无止境。 其实作为业务开发者，我感觉应该理解的是编解码的特点，联合你所在畛域的业务特点，以及业务所处网络，带宽，丢包等等因素，曾经编解码所在硬件的解决能力(内存/CPU/协处理器)，从而能够做出正确的抉择，初期咱们是把这项技术利用在业务畛域为客户提供好的体验(毕竟这个畛域的大大神们钻研了这么多久，咱们没必要从信号采样再钻研起)；对于编解码内核的频域转换/滤波等原理性技术能够随着业务的倒退，当然联合本人的能力，再逐渐加深学习。 本文为集体原创，首发于 声网开发者社区[https://rtcdeveloper.com/t/to...]

2020 年初，一场从天而降的新冠疫情让全国乃至寰球的各行各业陷入了简直停摆的状态。在如此境况下，线上实时互动的需要开始爆发式增长，RTC 技术也站上了行业的新风口。 这其中最具代表性的利用包含在线教育、视频会议、游戏连麦、平台直播等等。RTC 技术最后在直播互动和实时音视频通信中利用最为宽泛，在用户猛增和网络流量成倍数增长的状况下，RTC 技术联合 5G 网络又有了更大的冲破。 RTC 技术曾经开始全面浸入人们的日常生活。在此背景下，为适应市场发展趋势，激励开发者开发出更多翻新利用，国家层面和企业本身都出台了相干优惠政策，提供了全方位的反对。 融云作为寰球当先的互联网通信云厂商，始终致力于 RTC 技术的翻新和倒退，并在近日正式举办 Geek Online 2020 编程挑战赛，心愿借此机会与寰球开发者一道，独特寻找 RCT 技术的更多落地场景，开拓更多应用路径。 RTC 技术全面浸入日常生活 数据统计，2020 年上半年，全国有 100 多万人参加到了直播带货大潮中，如薇娅、李佳琦等头部主播一场直播的成交额动辄上亿元。在主播的宣传和情绪带动下，消费者直观的感触到销售气氛，立刻点击链接进入购物界面。 在疫情的影响下，屋宇和汽车这种主打线下销售的产业受到了不小的冲击，VR 看房、看车业务也应运而生。相似须要用到 RTC 技术的场景还有很多，包含近程医疗、在线教育、视频会议等等。 随着互联网通信技术的倒退，越来越多的企业开始把 RTC 技术融入到本人的产品当中，更加器重实时互动性。 衣，有电商、直播带货等生产模式；食，有无接触配送，在线下单送货上门；住，有 VR 看房，近程实时交易；行，有无人驾驶，路况视频实时回传。这些无不反映了即时反馈，实时互动在现阶段的生产场景中占据的重要位置。 融云 RTC 技术保障通信传输低延时、高清晰、无卡顿融云率先提出了为开发者提供即时通讯与实时音视频能力交融的 PaaS 通信云服务，通过  IM+RTC 整体计划满足开发者对互联网通信能力的要求，以高牢靠的 IM 信令保障为前提，为实时音视频通话、直播带货等利用场景提供通信保障。 在确保信息安全，不在传输中呈现错乱的前提下，融云的 RTC 技术保障了通信传输的低延时、高清晰和无卡顿。 目前，融云实时音视频服务曾经笼罩 iOS、Android、Web、Windows、macOS、Linux、Electron 等多类型平台。 Geek Online 2020 编程挑战赛开启为激励开发者开掘更多对于实时音视频和即时通讯技术的创意，大胆翻新，融云发动了 Geek Online 2020 编程挑战赛，以“后疫情时代，通信云技术的翻新及实际”为主题。选手可应用融云 IM+RTC SDK 进行翻新利用开发，比赛作品需集成融云官网最新版本的即时通讯 SDK 或实时音视频（直播）SDK。 大赛已于 8 月 24 日开始报名，赛程近 2 个月，10 月 17 日进行线上决赛，并打算在 10 月 24 日现场颁奖。 ...