乐趣区

关于计算机视觉:解码北京冬奥沉浸式报道黑科技-阿里云视频云互动虚拟演播技术

这个冬奥季,即使你在冰雪之外,也能透过播报感触同在。这就是互动虚构演播技术带来的。

“虚构演播厅”在东京奥运会就曾进入奥运村,而在 2022 冬奥期,其技术计划全面降级,达到广电级导播成果的同时,接入门槛极大升高,大大拓展了该技术的利用场景。同时在链路上买通 RTC 和 GRTN 网络,将多机位、多视角实时同步技术能力,与 RTC 实时连麦、异地开播能力联合,可实现主播、嘉宾的多层虚构背景等能力叠加,晋升沉迷式直播体验,在互动成果上全面晋升到新境界,助力打造北京冬奥赛事的沉迷式报道。

百年奥运首次启用互动虚构演播 —打造沉迷式报道

2022 北京冬奥虽于冰雪之际,但观众高燃的激情像一场冰与火之歌。对于赛场上的注目之星,咱们都很期待听到、看到、感触到他们在赛后实在的声音、风采和谈吐之相。

于是,早在冬奥会后期,CGTN(China Global Television Network)就在策动制作寰球冬奥运动员、冰雪明星的系列采访报道,冀望实时而精彩地出现运动员的赛事采访,而互动虚构演播技术的全新冲破,正是 CGTN 此次落实冬奥采访我的项目的最佳抉择。

通常而言,媒体异地采访须要连线 App,且运动员的受访环境很不可控,于是,想展示好的人物采访画面成果,须要实景抠像再合成于虚构直播间,同时还要达到赛事完结后采访的实时流传成果,这对技术提出很大的挑战。于是,阿里云视频云全新降级的“互动虚构演播“技术在 2022 冬奥会就此退场,解决了这一难题。

作为全新的云导播实时互动虚构演播技术,这是奥运会第一次启用,为 CGTN 在北京冬奥会的记者连线报道场景中充沛利用,打造了此次奥运赛事报道的沉迷式体验。

该项技术在冬奥会期间全程助力 CGTN 进行了赛事异地采访、实景抠像合成的虚构直播,打造了异地互动的新形态播报,实现全链路制播上云,对传统新闻节目制作打造了全新场景。

同时,通过在音视频互动 APP 上实时连线,实现了导播人员和记者异地实时通信,第一工夫将新闻报道传递给观众。通过云导播与 RTC(音视频通信)的全面买通,可主动获取连线直播间流,实现新闻采访与直播观看同步进行。此外,通过云端实景抠像算法技术能力,达到了极致精密的抠像合成成果。

这是百年奥运首次应用“互动虚构演播厅”进行沉迷式赛事报道,扭转了传统电视台记者的采访模式,再也无需记者携摄像团队,载着惨重设施到处奔走,更无需以往肯定要将记者与受访者设置于同一现场的固封模式。只有通过阿里云视频云互动虚构演播产品,采访工作仅需“两部手机 + 一台电脑”,即可随时随地开展采访直播与转播,从而变革了媒体生产与流传的技术链路,实现全链路制播上云的同时,也让赛事观众体验到更沉迷的播报视感。


“互动虚构演播厅”示意图

三项国内首个突破性超级能力 —业界尖端技术

可能在此次冬奥会实现翻新计划落地,打造实时互动的沉迷式赛事报道,源于阿里云视频云在虚构演播厅产品上的深度打磨和三点战略性的技术冲破:

国内首个纯云端实景抠像合流技术

此次的互动虚构演播计划,是针对冬奥会打磨的新实景抠像算法与引擎能力,它第一次采纳实景预设背景抠像,第一次采纳多机位切换抠像,第一次采纳 4 路抠像源(绿幕 + 实景)同时实时抠像解决。

泛滥“第一次”带来的价值是,满足了冬奥会级别的世界顶级赛事直播要求,将实景抠像成果达到业内天花板程度。

对标广电级别的节目要求,阿里云视频云正是利用算法突破技术壁垒,通过尝试多种算法和工程模型,一次次冲破自我,晋升实景抠像的成果和性能。在各种采访环境不可控的芜杂背景下,技术均可解决得十分完满,让冬奥的赛外内容播报体验极大晋升。

国内首家“端云无缝连接”的导播平台

在此次冬奥会中,互动虚构演播厅首次买通了 RTC 和 GRTN 网络,将多机位、多视角实时同步技术能力,与 RTC 实时连麦、异地开播能力进行联合。

个别状况下,导播台是始终不足端侧能力的,于是无奈实现实时互动场景,尽管也能够尝试和内外部各种 App 利用联结,但因为种种原因很难真正落地。

此次阿里云视频云 RTC 技术联合了导播台,进行虚构演播厅产品的深度革新和联动,并且对 App 端的界面成果和性能实现全面优化,为普通用户提供了简略、稳固的连线性能,真正实现了“互动虚构”演播能力。

业界广电级导播能力

全新的互动虚构演播厅,全面满足超低延时、超稳定、超高并发的个性,达到广电级导播能力。

从连麦 App 端到导播合流输入全链路超低延时,实现连麦端实时通信、导播台“抠像 + 合成渲染输入”,最快 2 -3S 内即可实现所有流程。在多人、多地同时开播、长时间连线开播状况下,对多背景抠图的解决场景能够达到稳固解决零断流的成果。整个计划落地,可禁受住大规模的散发、观看的考验,对超高并发仍旧稳固杰出。


“互动虚构演播厅”制作全链路

技术升级,先后助力两届奥运会 —发明奥运新纪元

在东京冬奥会,阿里云视频云的虚构演播厅就曾进入奥运村。过后,身处日本东京和中国北京两地的企业代表,通过云导播台的虚构演播厅、实时字幕等能力,顺畅实现沉迷式直播连线。


2020 东京奥运会 虚构演播厅让两地“同现”奥运村

本次 2022 北京冬奥,为了联合 CGTN 的记者采访和报道场景,同时满足央视记者深度沉迷式报道的观感,阿里云视频云重点对互动虚构演播计划,进行几个方面的深度降级:

第一,重点对实景抠像打造了新的算法引擎和极致成果,解决了实景抠像边缘毛糙,抖动等问题,抠像成果精密到人物发丝,实在细腻的成果促成了产品的可应用性,突破行业实景抠像壁垒。

第二,丰盛了云导播在场景端侧的接入能力,实现“实时互动 + 导播”的残缺计划,打造了“实时互动”场景,并且,通过 App 端简略便捷的开播,让应用门槛十分之低,从而高度满足了电视台记者群体的应用诉求。虚构演播厅强化增补了前链路的推流互动环节,更进一步实现了沉迷、实时的直播体验。

第三,全面降级导播稳定性、超长工夫连麦稳定性、抠像稳定性、音视频互动 App 性能等,从而全方位满足异地、多人、多场景、超长工夫的连麦和直播需要,对于简单的多场景(单人 / 双人、近景 / 远景、直播中插垫片)实现无缝切换,真正达到广电级别的节目制作水准。

全面的技术升级,将“虚构演播厅”降级为具备实时互动沉迷成果的“互动虚构演播厅“产品计划,从而为 2022 冬奥会带来赛事报道的全新体验。

互动虚构演播的更多空间—更多场景价值

北京冬奥会行将谢幕,互动虚构演播还将持续反对残奥会的实时沉迷连线播报。奥运会这样的超级赛事打磨了技术计划,让其不仅服务于此。

作为全新的云导播实时互动虚构演播技术,互动虚构演播厅能够通过低门槛地应用音视频互动 App,以发动直播与实时连线互动,同时,基于云端抠像与虚构背景合成的能力,提供“端到云到端”的虚构演播解决方案,从而打造沉迷式直播体验。

它是专门为近程互动打造,实现虚构直播间的沉迷体验。此外,也为近程制作、异地互动直播的场景提供解决方案,如身处在滑雪场的运动员能够和新闻核心的主持人进行异地的虚构合屏,并可进行实时互动采访。

从理论的利用场域,不仅撑持体育竞技、国内外赛事类的现场转播、近程讲解、多主持人模式等场景,互动虚构演播厅还可落地于更多行业场景,如电商与流动的直播反对、会议的多模式转播,以及各种类型的异地连线与虚构访谈,场景宽泛,能力丰盛,均可实现。

总言之,实际与积淀于 2022 北京冬奥会,阿里云视频云会将互动虚构演播解决方案进一步深入为更强的产品力输入,面向波及直播场景的各行业提供近程开播、虚构直播间的解决方案。

从后继倒退来看,在技术升级和产品优化上,“互动虚构演播”会围绕三个方向持续演进冲破:

首先,在实现了低门槛接入之后,更强调实现继续降本,晋升整个产品性价比和竞争力;再者,增强欠缺端侧布局,丰盛导播互动能力(如观众端播放画面的返送等),从而提供更欠缺的互动虚构演播计划。在此之外,在物理与虚拟世界穿梭构建的大趋势之下,将深度联合“虚构演播厅”的概念,摸索虚拟人、3D 背景等能力的联合与落地,打造虚构直播间的更多可能。

将来的互动虚构演播,技术更前瞻,门槛更低简,场景更丰盛,互动更多元,成果更沉迷。借冬奥之光,技术普惠就在眼前。

「视频云技术」你最值得关注的音视频技术公众号,每周推送来自阿里云一线的实际技术文章,在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群,和业内大咖一起探讨音视频技术,获取更多行业最新信息。

退出移动版