在 2022 阿里云直播峰会上，多位直播产业畛域技术专家与行业先行者，独特探讨超视频化时代视频直播技术的演进趋势与将来倒退。会上，阿里云重磅公布了行业首个「视频直播技术最佳实际图谱」，将直播技术演绎总结为 7 点：云原生、高牢靠、低延时、超高清、智能化、专业性及多场景，本文将对「视频直播技术最佳实际图谱」进行深度解读。
视频直播的趋势就是极致升高延时，其蕴含传输延时和计算延时。
谈到延时，公众对于延时的了解次要集中在传输延时上，根据视频的延时，能够将视频分成点播、直播、连麦互动、实时互动等。
- 当传输的延时在 3 -10 秒，这样的视频具备可播送的属性，如：体育赛事直播；
- 当传输的延时在 250-800 毫秒之间，可进行沟通、互动，如：互动课堂连麦等；
- 当传输的延时升高至 50-80 毫秒，此时视频便具备可操控性和沉迷感，如：云实时 3D 渲染、近程视频操控……
除了传输延时，视频的编解码、高清化等技术的计算也会带来算力的延时。紧随直播的趋势，如何能将传输延时和计算延时一直升高，为更多直播场景带来技术撑持及设想空间？
阿里云的直播技术基于云原生的底座和分布式边缘节点，通过对传输协定的革新，交融实时媒体解决能力与边缘算力，可能大幅无效升高传输延时与计算延时，并通过寰球实时流媒体传输网络 GRTN（Global Real-time Transport Network）、超低延时直播服务 RTS（Real-time Streaming）、实时媒体解决能力、视频 +AI 等技术利用，实现低延时的最佳实际，实现老本与体验的最佳均衡，在带来泛滥通用直播解决方案的同时，也衍生出泛滥场景化解决方案。
本次峰会公布的行业首个「视频直播技术最佳实际图谱」，是通过阿里云多年的直播技术摸索与实际积淀而来的，演绎总结为 7 大点：云原生、高牢靠、低延时、超高清、智能化、专业性及多场景。
云原生
视频技术就是云原生的最佳实际。
阿里云所提倡的云原生次要有三点：“产品的服务化”，“随便的弹性”，“软硬一体、云边一体、云端一体”，而视频技术恰好就是云原生的最佳实际。
云的基础设施，包含核心节点、边缘节点、CDN 网络是保障大规模散发和传输的根底；云原生的软硬一体，能反对 CPU/GPU/FPGA/ASIC 等多种软硬件异构计划；云与端的严密协同和算力调配，能实现云、挪动端、Web 端、PC 端渲染成果统一。
除此之外，云原生的工夫、空间、异构弹性，不仅能反对数十种业务混跑，云边端计算量化灵便调整，还能实现 100+ 种实时传输、媒体解决、AI 工作多机型异构混跑，给视频业务带来有限的算力的同时将资源充沛无效利用起来，大幅降低成本，衍生出更多新场景。
高牢靠
热点视频有千万级的实时并发，高牢靠是最根本的要求。
视频直播技术须要高牢靠，尤其是热点视频往往会带来百万、千万级的并发，此时高牢靠是最根本的要求。阿里云的视频技术高牢靠次要体现两方面，一是在架构上领有全链路日志 / 监测 / 报警 / 预测和高牢靠、多正本的秒级切换，能实现智能自动化运维和接入网络秒级信息排查，带来跨核心逃逸能力及容灾服务保障。
高牢靠的第二个方面，体现在对弱网体验的晋升。阿里云独有的 QoS 技术，能对带宽进行精准预测，大幅晋升带宽利用率和拥塞控制能力，同时联合编码器的弱网感知和抗丢包技术，能在 70% 的丢包状态下仍达到较高清晰度和流畅性。基于深度学习的智能语音丢包弥补，能晋升弱网状态下的音频清晰度，而麦上麦下提早敏感自适应技术，能在多场景下实现音频流畅性和通话提早的均衡。QoS 技术能辨认和动静适配如：丢包、延时等多种网络场景，大大晋升终端用户对业务性能的音视频主观感触。
低延时
GRTN 打造最佳流媒体实际场景。
延时指的是主播端的画面传递到用户屏幕所消耗的工夫，当排除网络、码流、设施性能的状况下，在不同的直播场景中选用适合的直播流协定，能大大降低直播的延时。回顾直播的历史，也是直播协定的历史，支流的协定有耳熟能详的 HLS、DASH、RTMP 等，延时广泛在 5s 以上，在强互动的需要下，直播协定也在一直向低延时转化，比方：SRT、LL-HLS 等。
阿里云在低延时上的最佳实际，次要在两个方面。一是在网络层面，将传统的 CDN 内容散发网络革新成 GRTN 寰球实时传输网，其定位是基于核心云和边缘云的异构节点，构建超低延时、全分布式下沉的通信级流媒体传输网络。
GRTN 目前交融了互联网直播和 RTC 等多种业务场景的音视频流传输和替换，并具备泛滥其余核心技术，如：GRTN 构建的双向的实时信令网可能做到切网音讯的毫秒级传递，当有一个公布端的媒体流产生网络切换后，订阅的客户端对 GRTN 外部产生的切换行为是齐全无感知的。
二是在这“一张网”上，阿里云打造了超低延时直播服务 RTS（Real-Time Streaming）。基于 GRTN 的短延时直播 RTS 能够反对规范 H5 WebRTC 推播，在千万级并发状况下延时能够管制在 1s 以内；RTC 端到端延时能够管制在 250ms 左右。观看下方 RTS 和 RTMP 的直播协定的比照视频，能够发现在有肯定丢包率的状况下，RTS 在体验、晦涩度和色调上都绝对 RTMP 有显著的劣势。
https://www.youku.com/video/X…
RTS 与 RTMP 提早比照视频
超高清
老本与体验的最佳和谐，带来更沉迷、更极致的音视频体验。
对于超高清在视频直播技术中的实际，阿里云自研的 s265 编码技术能实现高画质低码率，并反对 4K 实时编码；反对 AV1 编码，较 HEVC 节俭 25% 以上的码率。公众熟知的“窄带高清”技术，窄高 1.0 对多场景进行优化，通过 RIO 和 JND 智能编码节约码率，窄高 2.0 自适应视频降噪和内容修复，通过色调和纹理加强晋升人眼主观画质，带来体验和老本的最佳和谐。
与此同时，阿里云在直播技术上还对采集编码传输链路进行优化，全链路反对 4K 和 8K。在工程上，通过各类算法对帧率、码率、分辨率、色调等各维度进行晋升，无论是老片、瑕疵、人像、还是动画场景，都能进行修复带来超高清的体验。除了在云端对视频进行解决，还能在端侧进行超分插帧、降噪、色调加强等，即便是非 HDR 的设施，通过色调加强 SDR+ 技术，也能实现端侧统一的超高清体验。
端侧超高清比照
色调加强 SDR+ 技术
智能化
在超视频化时代，音视频的智能化是一大趋势。
深度学习能带来各类 AI 能力的晋升，在视频实际上是最好的一个进口。在智能化方面，阿里云的视频直播技术，除了传统的智能配音、智能拆条、智能集锦，还能对音视频内容实时审核，针对黄反暴恐广告实现精准辨认，节俭了大量的人工甄别老本。
经过训练的虚拟人技术，反对 3D 头像、Live2D、风格化迁徙、虚构主播等，带来更多 XR 技术的演进。此外，“智能化”还体现在音频体验上，基于深度学习技术与传统信号处理有机联合的 3A 技术，能实现智能降噪、突出人声、无损音乐，并能够广泛应用于各类实时场景。智能语音超分技术，在小模型的状况下仍可放弃高音质，这些都是 AI 与视频联合带来的成果。
https://www.youku.com/video/X…
“智能降噪”的多场景体验
专业性
专业性，让直播逐步演变成“智播”。
阿里云对于直播技术的专业性体现在多码率、多协定、内容爱护和实时制作上，直播逐步演变为“智播”。值得一提的是，在实时制作方面，阿里云将传统导播台云端再造，交融实时翻译、图文包装、动静标签、广告替换等导播创新能力，兼顾直播专业性与近程导播劣势。
同时，基于多路实时实景抠像，阿里云还曾将“虚构演播室”搬到冬奥现场。阿里云的“云导播”技术，不仅反对多种设施、多机位、异地开播，还可能实现双屏、分屏、画中画等开播场景，最大水平贴近直播需要。
https://www.youku.com/video/X…
互动虚构演播室助力冬奥
阿里云在直播技术上的专业性联合“云导播”丰盛的节目制作模式、更低的老本，可能广泛应用到广电新媒体、赛事直播、流动直播、商业直播等场景中，帮忙客户突破业务瓶颈，更快更好地开展业务。
https://www.youku.com/video/X…
《这！就是街舞》云导播 + 帧级别多视角同步
多场景
“直播 +”已成为一种趋势，渗透到各个场景。
从场景来看，直播从最早的大型文体直播、电商直播、游戏直播逐步渗透到企业培训、在线教育、广电新媒体场景。阿里云将直播、点播、在线会议的各种算法能力都集成到同一个 SDK 外面，实现多场景交融的同时，一体化 SDK 还能按需打包实现灵便的自定义。从传统的 SDK 接入、API 接入到“低代码直播样板间”，阿里云直播针对电商直播、在线教育、企业直播等提供一站式接入的场景计划，通过简略的三步对接和十几行代码，让客户轻松接入直播的体验，助力业务的倒退。
以后，直播业务已成为数字化社会服务的重要组成部分，越来越多的内容与产业转向“直播 +”模式，直播技术倒退的将来图景随着市场需求变动更加清晰。
「视频直播技术最佳实际图谱」正是基于阿里云在直播技术上多年的摸索和最佳实际，从直播技术的外围，到直播的全场景笼罩，再到直播技术创新与利用，助力企业深度了解“直播”，突破技术壁垒，携手各行各业在万物互联的浪潮中一直更迭与前行。
「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实际技术文章，在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。