奥运赛事每天都在演出冰雪奇观，而捕获产生霎时，凝固最精彩、最动人的体育人文画面，让“冰之舞”、“雪之舞”、“速度之美”、“凌空之美”如盛宴般绽开，让“金牌时刻”与“国将风采”变成永恒回荡时空。而实现这所有的，源自阿里云视频云 AI 编辑部提供的云上智能生产能力——AI 云智剪。
如果说，2022 冬奥开幕式是一场中国对世界讲述的故事，开展的是中国式的浪漫，那冬奥会的霎时之美，更像是记录历史的青川木牍，开展的是人物和故事的不凡之巅。
北京冬奥已靠近序幕，各项赛事全面而展，冰雪奇观每日演出。此次冬奥赛事，中国代表团首次实现 7 个大项 15 个分项“全我的项目参赛”，其中 35 项是首次站上冬奥舞台，如此之多的赛事内容也为奥运的视频生产提供了丰盛素材。
为了在冬奥赛事短视频内容时兼顾实效、精彩、人文、美学，央视体育新媒体和总台技术团队联结阿里云视频云、阿里巴巴达摩院，引入 AI 编辑部的智能生产工具“AI 云智剪”，能够实时实现多赛事的智能内容了解，在极短时间内智能化主动生成大量精彩视频素材，笼罩赛场动作、赛事内容、各类镜头等多个形容维度，生成美学主题的集锦素材。
自由式滑雪男子大跳台，单板滑雪女子大跳台、花样滑冰中，中国选手苏翊鸣、谷爱凌、金博洋、隋文静 / 韩聪等均表现出色，无论是金牌，还是对自我的冲破，其传递的冬奥精力在这个冬日里如烈火般鼓舞人心。
AI 云智剪在较量实现的第一工夫就对视频内容进行了多维度解析，实现了精彩素材生成，同时基于跨视频集锦生产能力，第一工夫为观众生产主题集锦视频，截至目前曾经自动化解决 200+ 场较量，生产素材片段达 3 万段以上，生成的大量主题式视频在央视体育新媒体上即时出现，迅速流传。
在体育赛事内容流传上，AI 云智剪能够高效、疾速、全面地为冬奥赛事播报提供弱小的生产力，疾速抢占公布先机，也为寰球赛事观众带来及时而优质的赛事体感，同时也为媒体行业深度开发体育媒体版权内容价值，发明了更多可能性。
针对奥运赛事内容，AI 云智剪设定了丰盛的美学主题智能模板，如针对冰球、花滑、速滑、短道速滑等，设置主题“冰之舞”，针对单板滑雪和自在滑雪，打造主题“雪之舞”，同时，从速度型赛事的非凡视角，如花滑的旋转、冰球的进球等，出现“速度之美”，而对于跳跃性动作丰盛的滑雪赛事，塑造“凌空之美”，堪称通过智能化视频云技术，全面捕获赛事瞬即间的美学光影。
科技冬奥的新内容生产力
AI 与机器学习在体育媒体视频生产畛域的利用是产业的大势所趋，随着数字化媒体的高速演进以及受众媒体内容生产习惯的继续更迭，碎片化的短视频内容曾经成为各内容生产畛域的支流，体育媒体内容畛域也不例外。
此次冬奥会更是以科技冬奥为宗旨，AI 在其中的作用至关重要，基于 AI 编辑部，其云上智能生产能力“AI 云智剪”在赛事内容生产中施展了微小价值，已俨然成为科技冬奥新内容的生产力。
以较量自身为外围，AI 云智剪通过对赛事内容的精彩信息进行定义、提取，从较量视频、解说词音频、人物场记等各个维度进行辨认与剖析，并利用多模态交融技术，从实现简单场景下的特色集锦成果。AI 云智剪能够对体育赛事视频进行高效的 AI 内容分析，能够实时生成多种类型的集锦内容，除了精彩动作镜头、运动员集锦等单赛事中的重要片段以外，还反对国将风采、凌空之美、小将出征等多种简单主题类型的集锦视频生产，实现视频内容解析、多类型视频素材生产、跨视频的简单主题视频生成的多层级短视频生产能力笼罩。
AI 云智剪依附阿里云视频云弱小的流媒体解决能力，能够保障每场较量的精彩集锦，在 3 - 5 分钟内生成，再由平台疾速公布进来，极大晋升了媒体抢占先机的能力和公众尽享冬奥赛事的体感。
图 1 AI 云智剪流程图
如上图所示，AI 云智剪的智能生产过程，次要蕴含两个步骤：
第一，AI 模型要对赛事视频进行了解，基于在 AI 畛域的长期积攒，AI 云智剪能够对多种体育赛事进行细粒度行为、赛场事件、人文事件、镜头类型的深度了解，同时对视频片段进行美学评估、动作精彩度评估、多样性评估，这等同于整个零碎的眼睛和大脑，只有看得多、看得细、想得全、想得快，才能够在强烈的冬奥赛场上，为观众们尽快出现精美绝伦的内容。第二，基于 AI 模型输入的各类型片段和多指标评估，素材生产模块会基于合乎权重进行素材选取，生产大量精选素材，同时也输入多种主题集锦素材。
同时，为了响应绿色冬奥的主题，AI 云智剪首次采纳了单视频了解模型，对多赛事、多起源、多品种的视频进行内容解析、多类型视频素材生产、跨视频的简单主题视频生成的多层级短视频生产。
该视频了解模型有三点突出的内容价值：
• 能够对横跨自由式滑雪、花样滑冰、单板滑雪、冰球、速度滑冰、短道速滑等多个赛事中的泛滥细粒度动作进行辨认，捕获精彩霎时；
• 能够对赛事视频中的非竞技动作进行辨认，感知观众的欢呼、选手的情绪、颁奖夺金等关键时刻；
• 能够对镜头类型进行辨别，进行多类型素材的智能化组合。
将实现如此多重简单的工作重任放在一个模型里，这也对 AI 云智剪的 AI 模型泛化能力带来微小的挑战。
冬奥云上新内容背地的新算法
通过 AI 云智剪出现新内容，冬奥的云上智能生产使用了全新的智能算法技术。从实质逻辑上，AI 云智剪是基于智能算法模型，对视频赛事进行解构、解析、评分，最终再基于多样性策略，以及 AI 模型输入的多样性评分进行智能化的视频素材生成。
正是依靠前沿技术，AI 模型能够在较少的计算资源需要下，实现多赛事、多起源、多品种的视频进行内容解析、集锦素材生产。
协同阿里云视频云的技术输入，阿里巴巴达摩院的算法工程师采纳了阿里巴巴最新研发的预训练模型技术 LOOK（该技术曾经被人工智能畛域顶级会议 ICLR 2022 录用）。相比于常见的训练形式要求所有的同类别样本特色靠近于一个核心特色，LOOK 能够在模型训练过程中仅要求靠近的同类样本更加靠近，保留更多的特色自由度。
能够认为，这是从一个“求同去异”到“求同存异”的过程改良，正因为在训练过程保留了更多的无效信息，也使得模型特色的示意能力更加通用，最终基于这一个通用表征的根底模型，构建了多个轻量级的多分枝任务模型，去实现多项工作。
因为共享了同一个根底示意模型，在计算耗费上多个工作分枝比单个工作分支减少的额定计算累赘简直能够忽略不计，但却能够和间接应用多个模型达到同样的 AI 能力。
正是基于这一技术，AI 云智剪更快更高更强地撑持起冬奥会的短视频生产工作。
图 2 预训练模型技术 LOOK 示意图
在应用预训练模型技术以外，因为此次冬奥会视频数据是模型“从未见过”的数据，为了保障模型的鲁棒性和计算结果的稳定性，阿里巴巴最新研发的开集辨认技术 NGC（已被计算机视觉顶级会议 ICCV 2021 录用为口头报告）也被引入其中。AI 模型会同时利用模型预测的置信度和特色的几何构造，来独特决定最终后果，这也使得 AI 云智剪尽管是第一次在冬奥会上退场，但也是相当的“稳”。
图 3 开集辨认算法 NGC 示意图
此外，阿里巴巴达摩院在视频了解畛域积攒了大量技术，包含根底模型表征，时序特色建模、自监督示意等，通过阿里云视频云 AI 云智剪的能力输入，均在这次冬奥会中展露头脚，也被开源在 EssentialMC2 技术框架（https://github.com/alibaba/Es…）中，以此致力于推动视频内容了解畛域社区的技术倒退。
屡次发明顶级赛事新视听
早在 2018 年世界杯期间，阿里云视频云 AI 编辑部就聚焦于利用“视频 AI+ 云剪辑 + 媒资治理”的技术，实时生产精彩集锦和球星集锦，满足球迷们的重温赛事和追星的需要。
在 2018 年世界杯上，CCTV5 采纳了阿里云视频云 AI 编辑部的视频 AI 技术，实现对第一脚传球检测、回放检测、危险射门检测、犯规检测、静止轨迹剖析及防御节奏剖析等，用 AI 技术代替了宏大简单的高清现场制作设施，高效实时地产出赛事集锦，让精彩不容错过。
通过四年的技术锻炼和产品打磨，AI 编辑部已陆续反对足球、篮球、冰壶、花样滑冰、短道速滑、滑雪等多种赛事的特色集锦和主题生产，帮忙用户无效进步视频的生产效率，让内容更疾速、更精彩，也更有柔美之感。
冬奥赛事靠近序幕，AI 编辑部的视频 AI 技术在本次奥运会中胜利落地，这是赛事利用的又一里程碑，也是视频 AI 利用于体育行业及更多其余行业的广大开始。经验了对百年奥运如此大型赛事的技术保障，阿里云视频云能更成熟、稳固地应答赛事场景下的视频剖析与解决，AI 技术也将渗透到各个行业中，帮忙行业客户高效晋升新内容的生产效率，让每场赛事都领有全然不同的新视听体验，也让赛事的人文美感由此绽开。
【AI 编辑部】
作为阿里云视频云的智能媒体生产产品，AI 编辑部是智能时代内容生产行业的基础设施，是可本地化交付的端到端产品。AI 编辑部交付面向新媒体的智能化内容生产流水线，借助大数据技术和人工智能，实现视频稿件、图文稿件的自动化、批量化、智能化生产，从而更快、更好、更广地为抢占新媒体市场服务。
【AI 云智剪】
作为 AI 编辑部面向体育赛事主题集锦的智能生产能力，AI 云智剪可能在赛事直播过程中实时生产素材，为精彩赛事提供优质高效的短视频内容生产技术。
阿里云视频云多媒体 AI 体验核心
「视频云技术」你最值得关注的音视频技术公众号，每周推送来自阿里云一线的实际技术文章，在这里与音视频畛域一流工程师交换切磋。公众号后盾回复【技术】可退出阿里云视频云产品技术交换群，和业内大咖一起探讨音视频技术，获取更多行业最新信息。