引言
AIGC 正从效率、品质、创意、多样性各方面变革内容生产流程，随同 firely、midjourney 等景象级的产品呈现，AIGC 将逐渐宽泛服务于内容生产的各类场景与内容生产者，随着 AIGC 在内容生产的需要场景一直减少，多媒体实验室也在 AIGC 畛域继续发力，并通过数据万象将能力胜利利用到传媒、社交、娱乐等多个行业，逐渐夯实全场景内容生产力。
足球精彩集锦
数据万象泛互与传媒客户领有不小体量的体育视频数据处理需要，尤其是赛事期间，足球赛事作为最受欢迎的体育赛事内容消费量始终居高不下，球迷对其内容的可观赏性要求也颇高，因为时长问题，未经剪辑的足球比赛不能间接投放到体育新闻、短视频等场景用于赛事宣传。为此，腾讯多媒体实验室基于自研的 AIGC 系列技术，通过腾讯云数据万象产品为广大客户带来足球比赛的智能剪辑能力，在没有人工剪辑参加的状况下主动生成赛事高光内容。
技术介绍
数据方面，咱们采集了 1200 多场具备代表性的足球赛事并标注了高精度的数据集。数据集笼罩各类驰名联赛和杯赛，累计 600 多个小时。同时，咱们设置了 19 个要害事类别，针对每一段视频精确标注出全副要害事件的起始点、完结点和对应类别。要害事件散布如下图，根本能够反映实在较量的数据分布。
【数据集要害事件散布】算法方面，咱们设计了一个基于智能拆条和进球检测的多模态计划来实现智能剪辑。
【多模态智能剪辑计划】
智能拆条模块基于视频的图像序列和音频信息，通过子工作抽取多模态特色，再由事件检测模型定位各类要害事件。针对单帧图像、音频信息、图像序列，咱们基于事件标签有监督地训练了三个特征提取器，用于提取图片、声音、动作等多模态特色。
事件检测模型承受由时序卷积编码再拼接的多模态交融特色作为输出，评估各个时刻属于事件开始、完结、过程的概率，并由此构建候选区间和对应的时序特色。候选区间评估阶段利用时序特色评估对应区间与实在事件区间的交并比，进而实现事件定位。最初联合子工作阶段获取的事件标签以及后处理算法就能够失去精确的事件拆条后果。
【事件检测模型】
智能拆条的成果指标 mAP 达到了 82%，其中定位球和回放等事件的对应指标更是达到 90% 以上。
进球检测模块通过判断比分变动状况来对进球事件作补充。在上述计划中，进球事件的召回率并不高，起因是咱们并没有充分利用视频里的比分信息，最直观的解决办法是利用比分信息帮忙判断以后的进球状况。在理论利用中，进球检测模块针对视频帧序列检测出比分牌地位，而后适当扩充边缘后再做文字检测获取以后帧比分数地位，通过多帧聚类失去以后较量的比分数地位，最初利用文字辨认技术取得比分序列，依据比分单边递增规定确认进球时刻。
【进球检测模块】
进球检测模块将进球事件的召回率进步到 96%，进步了集锦的完整性和精彩水平。
在足球场景的智能剪辑计划中，咱们还新增了球星辨认模块，用于剪辑特定球星片段。该模块通过应用人脸检测算法定位视频中的所有人脸，而后应用人脸识别模型编码人脸特色，通过聚类算法失去类似人脸序列，最初在球星人脸数据库中查找与之匹配的球星。目前咱们的计划可辨认 500 多位人气球星。
现该性能已在数据万象多个体育客户案例中落地，日均处理量继续攀升，大幅晋升数据万象客户赛事周边前期生产速率。
影视精彩集锦
除了体育，自研的智能剪辑还反对电视剧、动漫等影视场景，能够依据用户指定的人物、动作、情感、关键词等信息主动生成所需集锦视频。
以人物向为例，用户只须要提供 2~3 张某个人物的照片，零碎便可注册对应人物，剪辑时指定须要剪辑的角色（或列表）即可生成人物集锦。再搭配音乐卡点，上热门妥妥的！
线索集锦方面，用户能够依据剧情内容指定某个关键词作为线索，零碎将自动检索剧集中与此相关的内容，并生成关键词集锦，打造全网最清晰的故事线。
现该性能已取得数据万象体验馆、智能工具箱、控制台中超高点击率，吸引泛滥用户关注应用，此场景可能依据用户需要灵便调整集锦所需要害动作、人物等，欢送各位用户返回测试。
总结
将来，腾讯多媒体实验室将继续投入包含智能剪辑在内的 AIGC 外围能力建设，数据万象负责人叶嘉梁示意道数据万象将借助多媒体实验室在底层 AI 算法多年的积攒和建设，联合本身对行业和业务的了解，疾速上线了可能帮忙客户业务实现智能内容生产的能力，丰盛的算法也让业务具备更好的多样性和灵活性。
您能够返回数据万象进行相干能力体验，对存储在对象存储 COS 上的数据进行创作。数据万象将继续携手多媒体实验室为广大客户提供视频主动剪辑、智能作曲、音乐评分等更多智能化服务，晋升内容生产和创作效率。