置信大家对网络直播曾经不再生疏了。
2016 年被称为直播元年，根底技术逐步成熟，引出千播大战。在红海下，纯正的直播逐步失去竞争力，不少企业开始走内容垂直化，跟秀场、游戏、电商、广电等内容特点深度联合。其中内容垂直化最为胜利的，莫过于电商直播。据一些行业调查报告，2020 年中国电商直播市场规模靠近万亿元，年增长超过 100%，增长势头强劲。2020 年 S1 疫情暴发，电商为病毒隔离奉献微小，同时疫情也为电商直播购物按下了减速键。
电商体系中，多媒体传输网络处于要害地位，承载着内容中台的基座。
电商内容体系架构图
电商体系中，内容中台为次要增长引擎。2020 年淘宝双十一 GMV 达到 4982 亿，淘宝直播带宽峰值超过 7T，比去年增长超过 1 倍。直播玩法、用户体验、零碎稳定性都比去年大幅晋升，GRTN（Global Realtime Transport Network）新一代多媒体传输网络为双十一的增长保驾护航，整个双十一期间，零碎如丝般顺滑。
（淘宝直播专题内容正在更新，欢送关注【淘系技术】公众号）
GRTN 新一代多媒体传输网络架构
多媒体传输网络，是不是就是 CDN？答案当然是否定的，CDN 只是传输网络的一部分。多媒体传输网络包含内容生产、编解码、内容散发、观看体验、宏观控制。GRTN 是一套从生产到生产，从性能到管控的残缺的零碎。
GRTN 新一代多媒体传输网络架构
内容生产：让直播更好玩
淘宝直播走到当初曾经 5 个年头，主播的能力有了很大进步，咱们的权利互动也做了很多翻新，往年咱们更重视直播的内容，咱们心愿主播在直播卖货的同时，也能产生很多很乏味的内容，让大家买买买的同时，放弃好情绪。所以咱们重点做了直播游戏互动玩法，使得直播在卖货的同时也能更加乏味好玩。
内容生产流内互动的零碎次要分为 3 个局部：功能强大的素材玩法编辑器、灵便通用的脚本编辑器、跨平台渲染计算引擎。编辑器是内容生产的用户界面，提供各种素材、玩法的编辑能力。然而，有时简略的素材和玩法不能满足需要，须要用一套脚本来管制素材和玩法的运行，为了升高脚本开发难度，脚本必须灵便通用。最初所有的素材、玩法要在流外面展示进去，必须依附渲染计算引擎。
编解码：老本更低，体验更好
S265 是直播老本极佳的编解码计划
带宽是直播经营中最大的老本，依据前瞻网估算算全行业 2020 年的 CDN 费用收入将超过 300 亿元，在 2025 年靠近 1000 亿规模（https://bg.qianzhan.com/trends/detail/506/200715-ec767b9b.html），在保障视频品质的前提下升高带宽是老本管制中至关重要的一环。
相机采集到的视频数字信号通常是 yuv 格局，每个像素点须要 1.5 个 Byte 来示意，以 720p 25fps 为例，带宽有 263.67Mbps，直播 1 小时总流量有 124.4GB，如有 100 万人观看这场直播，CDN 费用高达 1.58 亿。好在视频图像外部帧与帧之间存在十分高的相关性，采纳视频压缩技术去除相关性后，能够将带宽升高到原来的 100-400 倍；
视频压缩规范次要有 ISO（国际标准组织）制订的 MPEG 系列和 ITU（国际电信联盟）主导的 H.26X 系列，2003 年两大组织组成联结专家组（JVT），独特制订了 AVC(H.264) 编码标准，2013 年 JVT 公布了 HEVC(H.265) 规范，HEVC 作为比 AVC 更新一代的视频压缩规范，雷同画质下能够节俭一半码率.
S265 是基于 H.265 规范实现的软编码器，具备高压缩、高效率、适应场景广三大特点，比照业界开源的 X265 可节约 20% 以上的码率且编码速度晋升 100%-600%；目前已在淘宝直播、优酷视频、阿里云 MTS、VMate、钉钉会议等业务中上线应用；
S265 的优化思路蕴含两个方面，一方面从码率管制、编码工具两个方向优化编码品质，另一方面从疾速算法及工程优化两方面优化编码速度，下表能够看到，S265 相比 X265 和 X264 都有更高的码率劣势或速度劣势；
上面是一个 demo 视频，右边是 S265 的压缩后果，左边是 X265 的压缩后果。能够看到，等同码率下 S265 的高空瓷砖的纹理及水纹更清晰（语雀有二次压缩，原片更显著）
output.mp4
右边 S265，左边 X265
从另一个角度看，雷同品质下，S265 的码率能够大幅节俭，从而升高带宽老本。下图左侧是 X264 的压缩 2400kbps，右侧是 S265 1200kbps 的后果，码率相差一倍，S265 的品质还更好。
45_x264_ali265.mp4
过来一年，淘宝直播的在线规模减少超过一倍，而 CDN 的带宽老本简直未减少，这还是在 FY20 相比 FY19 曾经升高一倍的前提下产生，S265 起到了至关重要的作用。
S265 降低成本前提下不降体验
尽管 S265 大幅升高了直播老本，但体验并未升高。
在清晰度方面，淘宝直播 S265 在 720p 分辨率下的均匀推流码率在 800kbs 以下，但大盘监控的均匀 psnr 大于 42db。在往年双十一还上线了 1080p 高清直播，满足用户极致高清的需要。
在流量管制方面，S265 反对秒级码率调控，能够让 GRTN 流量调度在 1 秒内实现对大盘流量的管制，实现 CDN 流量的全面掌控；
在编码延时方面，S265 实现了低延时压缩模式，相比 X265 Medium 模式升高了 70% 的编码延，且编码品质简直不损失。
最初，随同着码率升高，网络传输的压力也相应降落，用户体验的卡顿率和秒开指标都有显著晋升，过来一年淘宝直播的卡顿 vv 降落了 25%，秒开率绝对值晋升了 1%，跟码率降落有间接的关系。
内容散发：二网合一的传输零碎
在流媒体畛域，提到直播技术，往往会想到 RTMP、HTTP-FLV、QUIC-FLV、SRT，只有提到连麦、通话、视频会议，才会想到 RTC(webrtc)。现在淘宝直播架构整体降级，一改来日印象，将直播全链路跑在了 RTC 之上，实现了直播网和通信网的交融，实现了二网合一。
对立架构后，实时音视频通话和直播两大业务，应用对立套代码，一套运维体系，缩小保护老本。同时，淘宝直播针对业务特点，对交融网络架构进行了深度定制，自研了适宜直播业务的拥塞控制算法和网络传输策略。针对 WebRTC 中网络传输的外围，淘宝直播对拥塞控制算法的摸索层层深刻。从基于特定网络场景的深度定制优化，到系统性的参数探测优化，再到基于神经网络的拥塞控制算法相干的前沿摸索，深度定制的优化落地，使得推流端卡顿总体降落 40%，提早也降落了 12%，主播推流更加平滑稳固；前沿摸索的学术后果，也曾经两次由网络方向国内顶级会议 MobiCom 接管和发表。
低提早传输是一个综合性问题，对于直播来说要兼顾老本，体验，提早，须要客户端，服务器配合，基于线上数据一直迭代。相干控制算法从 webrtc 残缺模块化剥离和重构，性能是 webrtc 原来实现的 2 倍以上，针对直播大的 I 帧场景深度定制优化，同时兼顾秒开和提早，谋求最大吞吐率。在网络小范畴抖动状况下不受影响，最大反对 20% 丢包和 500ms 内的抖动。绝对于去年同期指标，卡顿率升高 79%，卡顿 VV 升高 44%，秒开率晋升 32%，提早和首帧达到工夫升高 100 多 ms。
淘宝直播与其余直播利用比照
通过用秒表内容推流，拍摄推流和播放内容的形式，测得端到端延时，手淘根本在 2 秒以下，而行业内大部分直播软件还是 FLV 技术，延时通常在 5 秒以上。通过严格的 AB 测试证实，端到端延时升高，对促成 GMV 有侧面成果。网络好时，比照卡顿没有意义，大家卡顿率都为 0，因而通过网损仪减少 30% 丢包、100ms 延时测试，卡顿状况就不一样了，因为 RTC 有拥塞管制、网络抗丢包策略，30% 丢包齐全无卡顿，而 FLV 直播则有较高的卡顿率。
后续会持续在对立的直播通信网上优化，一直进步淘宝直播的用户体验，敬请期待。
观看体验：实在还原现场
阿里团体 CTO 程立分享了他购买古琴的经验，买古琴不能通过惯例的图文形容来分辨古琴的好坏，卖家将程立疏导到直播间，通过主播解说，在直播间听声音来分辨古琴好坏。买到琴后发现琴的声音跟直播间里听到的齐全一样，CTO 对淘宝乐器直播间的音质大加赞叹，这种所见即所得的感觉是直播最大的劣势。
“让画面更清晰，让声音更实在”，是淘宝直播的极致谋求。淘宝直播通过自研 3A、智能降噪、高音质模式、窄带高清等技术，克服生产设施、观看设施及网络条件多样性适配艰难，为主播提供低成本直播计划，为观众打造高清音视频体验。
音乐直播间高保真体验：
音乐直播间.mp3
电商直播中，解说声音的清晰度间接影响沟通效率，因而要尽量屏蔽烦扰声音，降噪能力至关重要，淘宝直播团队在智能降噪上深入研究，在技术上翻新，比传统技术降噪能力更强，降噪后声音可懂度更高。
降噪前原始语音：
原始语音.mp3
通过 AliDenoise 智能降噪后的语音：
AliDenoise 语音.mp3
在画质上，淘宝直播团队通过去抖、降噪、超分等技术，实现画质加强。并且借助 S265 编码器高压缩率的劣势，咱们以业界 720p 的码率实现了 1080P 分辨率的高清直播。
720p_1080p.mp4
右边 720P，左边 1080P
宏观控制：大象也能跳舞
无论怎么设计，零碎的复杂度都会逐步减少，变成一头臃肿的大象。个别的零碎，牵一发而动全身，平时已不敢随便变动，更何况大促等关键时刻。然而淘宝直播往年打造了宏观控制系统，让这头大象灵便起来，数据系统如同大象的眼镜、智能策略零碎如同大象的大脑、工作执行零碎如同大象的四肢，而业务策略配置零碎如同驯兽师手里的指挥棍。
宏观控制系统将简单零碎闭环，使得整个零碎能观能控，加强了零碎的鲁棒性。宏观控制系统的输出是以后主播的编码码率和直播成果等；基于 blink 搭建的多数据源自纠错的实时数据平台作为检测环节将以后的在线主播数、在线观众数、CDN 带宽、以及预测的接下来一段时间内的各个数据荡涤统计后输出至决策零碎；决策零碎交融了限峰策略、工夫策略和大主播策略等多种策略，联合数据平台的反馈数据作出最优决策后告诉执行模块进行调控；基于团体多维音讯群发中间件 MASS 与长连通道 ACCS 实现的执行模块会实时调控主播的编码码率、观众观看的清晰度等，实现进步带宽利用率、进步用户体验、降低成本、确保稳固的目标; 客户端编码器反对实时动静调整编码码率和智能码控档位，反对帧级实时调控，码率调控秒级失效。宏观控制系统让资源管控更加弹性，在咱们无奈精确预感将来时，申请资源以及筹备资源是一个大难题，有了宏观控制系统状况后，不必为资源预估不准而犯愁，宏观控制系统能够依据实时数据进行预测并且弹性地调整人均耗费的资源。
宏观控制对带宽调整的成果
在往年双十一期间，宏观控制系统通过上下调整码率等策略，实现了人均耗费带宽在平时的 0.5 倍~1.5 倍之间浮动。再也不必因为在线人数偏低而节约带宽，也不必因为在线人数偏高而导致局部用户被限流，值班同学能够安心地边吃零食边看直播了。
内容生产通过 AI 等技术，产生更乏味的直播内容，而后通过高效率的 S265 压缩算法编码，失去较低的音视频码率，在而后通过去中心化的 RTC 网络散发到各个观众，最初通过高质量的观看体验，实在还原现场，整个零碎须要宏观控制带宽、品质，须要有一个零碎从大局管制。
往年淘宝直播全方位升级换代，整个零碎内容比拟多，接下来将会对这一些列技术开展形容，敬请关注后续的子主题。