共计 3084 个字符，预计需要花费 8 分钟才能阅读完成。
✎ 编 者 按
成立于 2019 年，拍乐云是国内第一家视频会议背景的实时互动通信云服务提供商，汇聚了一大批专一于音频、视频、白板、网络、AI 等畛域的资深技术专家。在过来两年间，拍乐云始终致力于帮忙用户实现高清、稳固、易用、低时延的实时互动。随着 5G 和 AI 技术的倒退以及寰球疫情的影响，音视频利用场景日益多变，拍乐云如何用更好的产品体验为用户提供欠缺的解决方案？LiveVideoStack 近日采访了拍乐云首席科学家 & 合伙人章琦老师，他将从产品、技术挑战、应答策略以及 AI 赋能等角度和大家聊聊他对音视频技术的了解和瞻望。章琦老师也是 LiveVideoStackCon 北京站的嘉宾讲师，将在会上为咱们带来精彩的演讲。
讲师介绍：章琦，拍乐云首席科学家 & 合伙人。浙大数学系硕士毕业，20 年视频开发教训，8 年 WebEx 音视频引擎架构师工作教训，OpenH264 作者，历任虹软、WebEx、网易等公司，精通视频算法，也精通音视频工程，主导了多家公司的音视频引擎架构设计，深刻了解人工智能技术以及其在实时通信畛域的利用，领有年服务千亿级分钟音视频通话的教训。
LiveVideoStack: 章老师，您好，非常高兴邀请您承受采访，您能够跟大家介绍一下您在拍乐云所负责的工作吗？
章琦：我在拍乐云次要负责音视频相干的开发工作，包含编码解码、音视频引擎、前沿技术的钻研等。除了开发和管理工作，我也会参加到客户对接中。因为咱们做的是 toB 企业服务，技术、产品、服务都很重要，所以会十分关注技术支持的对接、用户的应用反馈。
LiveVideoStack: 咱们看到，拍乐云最近推出了业内首个“线上美术音视频计划”，这其中有一项视频改正技术，您能介绍一下这项技术以及它所用到的算法吗？
章琦：美术线上教学场景下，视频的内容以画布居多。如果要完满出现画的内容，保障画的空间比例关系，对拍摄的角度要求很高，须要将摄像头对准画布正核心，这在实际操作中其实很难，稍有偏差，作品的空间几何关系就会变动。为了升高用户应用难度，咱们反对用户能够随便拍摄，在拍摄后对视频进行改正解决，这其中须要关注摄像头的拍摄地位和角度，因而须要实时预计采集参数，而后求解几何变换矩阵，最初对视频进行解决，同时为了升高大量运算引入的时延，咱们还进行了 GPU 优化，使整个操作在 1 毫秒左右，使用户的体验更加晦涩。
LiveVideoStack: 在互联网这条高速公路上，最常产生的就是网络拥塞，所造成的结果就是丢包、延时和抖动，大大降低音视频的品质，在应答网络拥塞方面，拍乐云是如何做的呢？
章琦：拍乐云应答网络拥塞的次要伎俩是带宽预测，动态码率调整和自适应的 FEC、ARQ、PLC 等技术，能够实现在极限场景下仍然通话晦涩。同时还采纳了前向纠错、丢包重传和丢包暗藏三大丢包复原策略来应答拥塞。除了弱网反抗，拍乐云还自建了 Pano Backbone 寰球实时传输减速网络，解决跨区域、跨国的链路问题，升高拥塞产生的概率，保障音视频的通信品质。
LiveVideoStack: 您之前讲过，所有抵制弱网的伎俩都须要付出代价，也能够被认为是等价交换。这里的代价指的是什么?
章琦：这里的代价指的是抗弱网带来的其余性能的受损。举例来说，传输上的丢包是随机事件，在数据发送的时候无奈得悉这个数据是否会在传输时被丢。前向纠错编码尽管具备抗丢包能力，然而它对于数据包的爱护是比拟自觉的，主观上导致传输效率升高。从这个角度上来说，判断零碎的抗弱网能力要防止从繁多维度登程，须要全面考量。
LiveVideoStack: 您认为在将来，AI 技术还能给 RTC 行业带来哪些大的变动？
章琦：AI 技术对整个 RTC 行业带来的影响必然是十分深远的，主观地说，以深度学习为代表的 AI 技术的倒退与成熟，对音视频关键技术的冲破提供了另一个有心愿的方向。有些应用传统技术无奈解决的问题，能够通过与 AI 技术的交融，大大降低问题解决的难度。无论是 RTC 行业的外围音视频编解码，还是其余一些音视频解决和加强技术，比方当初比拟热的音频降噪、视频超分、对象宰割辨认等，在 AI 的加持下，都取得了冲破。
LiveVideoStack: 您是浙大数学系毕业，是什么样的机缘巧合使您踏上了音视频这条路？
章琦：我的硕士钻研方向是数字图像处理，三年求学期间，受害于我的导师叶懋东老师匪浅，只惋惜过后的想法不够成熟，在数学这个方向的学习上未能了解叶老师的深意，至今感觉遗憾。读研期间，我还参加了信电系信息与通信工程研究所刘济林和王兴国老师的一些钻研我的项目，他们是国内比拟早钻研视频编解码技术的团队，在技术上，受陈国斌博士师兄影响比拟大，能够说他们几位都是我踏上音视频开发这条路的贵人。
LiveVideoStack: 在音视频畛域深耕这么多年，您能预测一下，下一个音视频技术发展趋势在哪里吗？
章琦：深度学习、虚拟现实技术、3D 视频等等。深度学习在后面已有答复，这里不再赘述。虚拟现实和 3D 视频会依赖于相干硬件技术的成熟，我置信这一天不会太远了。
LiveVideoStack: 我理解到您平时很喜爱浏览，如果让您别离举荐一本音视频畛域内的技术书，和一本行业外的其余类型的书，您会举荐哪两本？
章琦：第一本书我想举荐 Write Great Code Volume 2: Thinking Low-Level, Writing High-Level。这本书的作者是 Randall Hyde，他的另一本久负盛名的作品是 The Art of Assembly Language。不举荐 The Art of Assembly Language 的起因是大多数同学都不会有写汇编代码的机会。不过不须要写汇编代码，并不示意你不须要把握相干的常识，对音视频开发来说，代码执行的效率是十分重要的指标。不过理论工作中，我发现有相当比例的同学都不留神代码执行的效率。可能也是不具备相干的常识和感觉. 这本书是汇编语言的大家信手拈来之作，能够帮忙你从汇编的角度来扫视高级语言，了解软件是如何在 CPU 上运行的，从而写出高效且丑陋的代码。
Write Great Code Volume 2: Thinking Low-Level, Writing High-Level
第二本书我想举荐的是《中的精力 – 吴清源自传》, 在围棋这个圈子中，吴清源是以昭和棋圣之名享誉于世的小人物。他击败了所有日本的一流棋手，将他们的对局棋分降为先相先或让先，独步日本棋坛二十余年。然而这样一位居高临下的小人物，他的生存却相当贫寒。与之对照的是他的精力世界十分丰盛，舍棋之外，别无他物。金庸说他最拜服的人里，今人是范蠡，今人是吴清源。这本书就是吴清源精力世界的最好写照。
《中的精力：吴清源自传》
LiveVideoStack: 您将加入 9 月份在北京的 LiveVideoStackCon 音视频大会，那么在会上您会带来哪些令人期待的内容？
章琦：我会分享拍乐云视频编码器的设计实际以及针对实时视频零碎利用场景落地的一些优化策略。
大家晓得，实时视频零碎对于时延的要求极高，所以视频编码器必须满足实时性的要求。古代编码器在 Rate-distortation 性能的晋升上是以复杂度的回升为代价的，以后利用设施的碎片化十分重大、设施的运算能力差异微小，这些都是新技术落地实时音视频零碎将面临的挑战。所以我想分享下咱们在设计实时视频编码器时，在均衡复杂度和实时性上的一些考量。
LiveVideoStack: : 好的，谢谢您承受采访，期待您在 2021LiveVideoStackCon 北京站的精彩演讲！
编辑：Alex
LiveVideoStackCon2021 北京站炽热报名中！