关于云计算:课程回顾|以智能之力加速媒体生产全自动进程

本文内容整顿自「智能媒体生产」系列课程第二讲:视频AI与智能生产制作,由阿里云智能视频云高级技术专家分享视频AI原理,AI辅助媒体生产,音视频智能化能力和底层原理,以及如何利用阿里云现有资源应用音视频AI能力。课程回放见文末。

01 算法演进:视频AI原理

在媒体生产的全生命周期中,AI算法辅助晋升内容生产制作效率,为创作保驾护航。

智能生产全链路

智能生产全链路可分为五大部分。传统的媒体生产蕴含采集、编辑、存储、治理和散发五个流程,随着人工智能技术的衰亡,五大流程波及到越来越多的机器参加,其中最次要的便是AI技术的利用。以下举例说明:

l 采集

在摄像机拍摄时同步进行绿幕抠图,这在演播室或者影视制作场景中是比拟常见的。

l 编辑

编辑过程使用到很多技术,比方横转竖、提取封面、叠加字幕等,同时这些字幕还能够通过语音辨认的形式提取进去再叠加在画面上。

l 存储

视频在采集和编辑之后,须要存储下来进行结构化分析,像智能标签就是使用在存储场景,从视频中提取出相应的标签,进行结构化的存储,并把视频库中的视频进行结构化关联。

l 治理

存储下来的视频如何治理?如何通过关键词检索到对应的视频?在治理环节,AI能够帮忙进行多模态的检索,比方人物搜寻等。

l 散发

在存储和治理之后,视频散发也使用到AI技术,比方音视频DNA、溯源水印等版权保护利用。如果通过直播流的形式对宽广用户进行直播,那么散发环节还会波及到直播审核,免得呈现直播故障。

基于智能生产全链路,媒体AI全景图应运而生,共分为四个档次:

最下面的档次表白媒体生产的利用场景,蕴含智能媒资治理、内容智能生产以及视频版权保护。

往下是产品能力,即AI组合达成的能力,比方视频分类、智能封面、智能抠图等。

再往下是AI原子能力,比方语音辨认、自然语言解决这些底层的AI能力。

最下是撑持AI能力的根底底座,如编解码和GPU减速等。以上组合起来,生成一张AI使用在智能生产中的全景图。

视频AI原理

视频AI的底层原理到底是什么?

人工智能发祥于机器学习,而机器学习最早只是一种统计伎俩,像决策树、反对向量机、随机森林等各种数学方法。

随着时代倒退,科学家提出一种人工神经网络的计算方法,或者说算法,起初发现人工神经网络能够变得更大、档次变得更深,通过进一步摸索倒退,在二十多年前提出了深度学习的观点和概念。

所谓深度学习,就是在原先的人工神经网络上,把两头的档次(咱们称之为隐含层)扩大成两个档次、三个档次,甚至倒退到当初的几十个档次,即可失去更多的输出层和输入层节点。

当神经网络变得更大、更深的时候,机器学习就演化成深度学习,也就是咱们当初俗称的AI。

随之而来产生一个问题:如何将AI使用到视频和图像中?

如果有一个1080P的视频,视频大小为1920✖1080,此时一张图像上就存在百万个像素。如果把百万个像素点都放入神经网络中,会产生微小的计算量,远远超出惯例计算机所能达到的下限。

因而,在把图像放入神经网络前须要进行解决,钻研人员提出了卷积神经网络,而这也是当初所有图像和视频AI的根底

在卷积神经网络的规范模型中,图像进入神经网络之前须要进行两步操作:

第一步是卷积层。所谓卷积就是拿一个卷积核(能够简略了解为一个矩阵)和原始图像的每一个卷积核大小的矩阵进行矩阵层的操作,最初失去一个特色图像。因为有多个卷积核,所以一张图片能够提取出多个特色图像。

特色图像间接放入神经网络还是太大,因而,须要进行第二步池化层操作,池化层的作用就是下采样,可采取多种形式,比方把方格中的最大值、平均值或者加权平均值作为最终输入值,造成下采样数据。

在上述例子中,一张图像的大小升高为原先的四分之一,输出到神经网络之后,极大升高了原始数据量,即可进行图像神经网络解决。由此可见,用艰深的话来讲,视频或图像的AI模型必须是由大数据喂进去的

大数据人造地长在云上,云和AI人造的联合,能够使AI在云上失去较好的倒退与使用。

理解视频AI原理之后,如何反过来评估AI的成果?

以典型的分类问题举例,如果有100个视频,须要找出其中呈现过人的视频,那么有两个指标能够评估AI模型的好坏:一个是精度,另一个是召回率

所谓的精度是指,假如AI算法最终找出50个视频,然而查看之后发现,其中只有40个是真正有人的,那么精度计算为40➗50=0.8。

召回率是指,假如这100个视频中真正有人的一共有80个,而AI找出了其中40个,那么召回率计算为0.5。

能够发现,精度和召回率是一对矛盾。如果想进步精度,只有找进去的视频少一点,就能够保障每个找进去的视频都是对的,即精度回升,但此时召回率肯定会降落。

现阶段的AI并不完满,也就是说,目前AI还只能辅助视频生产,生产视频的主体还是人。

AI辅助生产

AI辅助生产能够由以下两个示例进行阐明。

示例一:通过图片搜寻相干图片或视频。Demo显示,输出一张周星驰的图片后,机器尽管不意识这是谁,然而可能从图片中提取此人的外貌特色,而后在视频库里做相应搜寻,找出一堆蕴含周星驰的视频。

示例二:智能横转竖。传统电影和电视剧均为横屏播放,随着挪动互联网衰亡,这些电影和电视剧须要在手机端进行投放,由此诞生了智能横转竖这样的AI算法,将大量的横屏视频转换成竖屏视频,帮忙横屏视频在手机端散发。

电视剧横转竖成果

新闻横转竖成果

02 智能进阶:视频内容了解

智能标签

智能标签基于AI对于视频内容的了解,主动提取视频中的标签、关键词等信息,剖析详情会展现为四局部:

第一局部是视频标签,获取视频的类目,视频呈现过哪些人物,人物呈现的工夫点以及在视频中的地位,人物的类似度等。

第二局部是文本标签,会提炼出一些关键词,包含视频文本中呈现过的组织机构,比方央视等。

前面两局部为文字辨认语音辨认,别离通过图片OCR技术和语音云辨认技术实现。

具体示例可在AI体验馆中进行体验,同时,也提供API接入文档进行参考。

体验核心:https://retina.aliyun.com/#/L…

API接入文档:https://help.aliyun.com/docum…

AI是如何从视频中提取出信息的呢?从视频标签的流程图中能够看到,输出一个视频,别离进行两局部操作:

一部分是对视频做抽帧解决,抽帧失去的图像通过人像辨认、场景辨认、物体辨认、地标辨认、OCR等图像AI辨认模型,提炼出视频标签。

另一部分是把视频中的音频提取进去,而后通过ASR失去文本后果,最初再通过NLP(自然语言解决),提取出文本标签。

智能审核

视频审核的技术原理与视频标签雷同,惟一不同的是,视频标签能够了解为一个正向的视频内容了解,而视频审核是负向的,审核须要辨认出一些不合规的、有问题的内容,比方鉴黄、暴恐涉政、违规、二维码、不良场景等信息。

视频检索

视频检索的核心技术点是利用标签后果进行视频的剖析和查问

视频检索架构图显示,媒资零碎中的视频通过媒资特色入库模块,导入到智能标签剖析中,并失去一系列的标签,包含视频标签、文本标签,原始的ASR、OCR后果等,将这些后果连同视频的元数据信息比方题目、形容等,利用ElasticSearch开源服务进行文本信息的倒排索引和查问。

视频检索过程中会波及到精排模块,这须要由业务层来实现。如果只是从ES中把合乎检索条件的后果提取进去,不肯定能满足业务层需要,比方说业务层面对政治新闻场景时,会要求把某些人物的搜寻后果更靠前排序,而这就是精排模块所须要做的工作。

检索系统个别都会依据业务层排序,接入业务接口模块,由此一个根本的检索系统搭建实现。然而,当初的检索系统只能依照文本检索视频。如何通过一张图片,检索到类似的图片或视频呢?

这波及到视频DNA检索技术。所谓的视频DNA,就是把视频外面的关键帧或者某一镜头提炼出要害信息,咱们把它称之为DNA,并把这些信息放入向量数据库中进行检索,更多内容可通过体验核心和接入文档进行拓展理解。

体验核心:https://retina.aliyun.com/#/DNA

API接入文档:https://help.aliyun.com/docum…

03 能力降级:音视频智能解决

基于视频内容了解,如何对视频进行智能解决?

绿幕抠图

绿幕抠图是在视频拍摄或者采集时,把背景替换成电脑制作的画面。在演播室场景中,理论拍摄时依据需要,在主持人的背地搁置绿幕背景或者蓝幕背景。

影视制作场景同样使用到绿幕抠图,比方科幻片中无奈实景拍摄的局部,会在前期进行背景叠加或其余解决工作,通过在人物背地搁置绿幕的形式,把人物主体提取进去。

绿幕抠图要求输出的是蓝幕或者绿幕视频,分辨率不超过4K,同时输出一张背景图片,即可输入替换背景后的视频。以下为示例阐明:一个人从绿幕前走过,替换背景后,变成此人在背景前走路,整体成果十分天然。

视频链接:https://v.youku.com/v_show/id…

视频链接: https://v.youku.com/v_show/id…

如何评估绿幕抠图的品质?首先要解决好边缘溢色,比方在头发边缘,因为原始的图像背景是绿幕,头发缝边缘必然会染上一些绿色,技术上须要把这些边缘溢色擦除掉。

此外,如何实在地出现透明度,并叠加背地的内容,还有静止含糊,高空暗影等,均是绿幕抠图品质好坏的评估点

横转竖

横转竖是在挪动互联网上散发视频的必备解决伎俩。

传统人工制作横转竖视频的难点在于:一,须要业余的剪辑软件和制作人员,老本高,速度慢;二,在指标挪动比拟快的场景中,须要逐帧剪裁,工作量微小;三,剪裁指标区域后,前后帧难以对齐。因而,横转竖视频更适宜由机器制作实现。

智能横转竖的算法流程是:首先对视频进行镜头宰割,所谓的镜头宰割就是在视频制作中,依照不同拍摄机位的转变,辨认镜头的切换,并把不同镜头宰割开来。

视频链接:https://v.youku.com/v_show/id…

其次是主体抉择,在主体抉择时,个别抉择画面中最醒目的人作为指标,在上述舞蹈场景中,主体就是这个正在跳舞的人。

而后是镜头追踪,每帧图像做好初期抉择之后,下一帧都要追随指标,即框定的图像追随这个人进行挪动。

最初是门路平滑,镜头追踪实现之后,最终生成的竖屏视频必须是平滑的,不能呈现翘边等不良成果。更多内容可参见官网:

体验核心:https://retina.aliyun.com/#/H2V

API接入文档:https://help.aliyun.com/docum…

其余视频智能解决能力

目前,阿里云视频云提供的视频智能解决能力,可分为以下四类:

  1. ROI提取,即感兴趣区域提取,包含绿幕抠图和横转竖;
  2. 智能擦除,比方去图标、去字幕;
  3. 要害信息提炼,比方智能封面,即从视频中提取出最能体现视频的一张图片;视频摘要,提取出视频中最能体现视频的简短视频;
  4. 结构化分析,比方字幕提取,把嵌入在图像中的字幕主动提取进去;PPT拆条,能够将一个课程视频主动拆成段落。

讲完视频智能解决能力,接下来介绍两项音频智能解决能力:副歌辨认和节奏检测。

副歌辨认

副歌是指歌曲中的低潮片段。副歌辨认有何利用场景?比方,很多音乐APP的试听性能,会间接播放歌曲中的低潮片段,人为进行提取相当麻烦,而副歌辨认就能很好地实现工作。

副歌辨认的算法流程为:输出歌曲之后,首先进行音乐段落检测,而后提取副歌段落,并进行精调使之更贴合,最初再生成副歌片段。

副歌辨认的示例显示,通过调用之后,算法会返回两个后果值,即副歌的开始工夫点和完结工夫点。

大家能够对返回的后果和音频进行对照,从72秒副歌开始,到102秒副歌完结,副歌辨认后果还是十分精确的。

节奏检测

节奏检测即辨认音乐中的节奏点,其次要利用场景为视频制作音乐举荐,比方,通过辨认出音乐节奏点,进行鬼畜视频的制作;通过辨认音乐的节奏类型,是四三拍还是四四拍,帮忙进行音乐分类等。

持续以上述音频示例,节奏检测算法输入两个后果:第一个是节奏工夫点,如0.46秒、0.96秒均为节奏工夫点;第二个是downbeat工夫点,在乐理中解释为重拍,其中0.46秒为第一拍,2.46秒为第五拍,也就是说每四拍为一个大节,每大节的第一拍为重拍,由此检测出该音乐的节奏。

其余音频智能解决能力

此外,视频云还提供其余音频智能解决能力,包含混音ASR语音辨认TTS语音合成。混音即把两个音乐片段进行叠加,其中波及到音量增益和主动控制算法。

这些能力进行组合,还能够实现更多玩法,比方歌曲串烧,首先通过副歌辨认,把几首歌曲的副歌局部提取进去,而后进行节奏检测,把适合的节奏点合在一起,最终组合成一首残缺的歌曲串烧。

04 开箱即用:阿里云媒资服务

基于视频AI原理以及成果,阿里云利用现有资源,提供更不便、更高效的音视频AI应用能力。

MPS服务

MPS是媒体解决的英文简称。阿里云提供针对多媒体的数据处理服务,将媒体处理过程形象成两种模式:一种是输出音视频等多媒体文件,通过智能化媒体解决,生成一个新的媒体文件,比方之前提到的智能横转竖。

另一种模式是输出一个媒体文件,输入通过媒体解决剖析后的一系列结构化数据,比方智能标签或智能审核。

MPS反对多项音视频智能解决能力,此外,MPS的媒体文件类型,既能够输出OSS文件,也反对输出网络URL地址。

MPS接口调用的流程为:

第一步,开明MPS产品,在开明的过程中,控制台会疏导进行减少权限等相干操作。

开明MPS产品:https://www.aliyun.com/produc…

第二步,调用MPS的Open API接口,取得Access Key,包含AK的ID和密钥。所有阿里云的Open API都要通过AK和SK拜访。

应用RAM服务获取AccessKey:https://ram.console.aliyun.co…

第三步,认真浏览MPS提供的API文档:https://help.aliyun.com/docum…

第四步,针对开发须要,选用不同编程语言,并装置依赖模块:https://help.aliyun.com/docum…

第五步,编写代码。

阿里云MPS服务提供的智能化能力能够分为四个维度:

一是视频内容了解,蕴含智能标签,智能审核,媒体DNA,媒体DNA是视频检索中的重要组成部分,还有智能封面、视频摘要等。

二是视频智能解决,像横转竖、去图标、去字幕、字幕提取等,从电视剧或电影中抽取出字幕,并输入TXT或者SRT格局,此外,也包含绿幕抠图和PPT拆条等。

三是音频智能解决,蕴含副歌检测、混音解决、节奏检测和音质检测等。

四是图片智能解决,蕴含横转竖、去图标和人像风格化。人像风格化能够把一张人像图片格调化成不同的模式,比方把人像进行卡通化,或者进行3D解决。

IMS服务

IMS服务是阿里云近年来新上的服务,全称是智能媒体服务,和MPS服务的区别在于:

IMS服务围绕直播和点播场景,是针对媒体解决的全流程服务,可认为是MPS服务的重大产品迭代和降级。

第一,IMS不仅针对于单个媒体处理过程,而是对于媒体服务全流程、全生产周期的治理和制作;

第二,IMS的集成度更高,不光能够进行单个原子能力的音视频解决,还能够进行媒资治理、工作流触发等,让开发者更不便地应用音视频智能化能力;

第三,IMS更智能,后续所有智能化能力降级后都会集中体现在IMS服务中。

IMS控制台交融了媒资治理,媒资库中的音频视频文件,包含图片、辅助的媒资,都能够通过IMS服务进行展现和治理。

利用多模检索的智能化能力,IMS能够实现多媒体文件的智能化检索。传统的音视频文件检索,只能针对题目或者简介进行,而IMS反对对上传的音视频文件做AI主动分类,并依据分类后果进行搜寻,同时,也反对对视频中的文字进行自动识别检索。

比方,新闻联播的画面中呈现了“康辉”两个字样,尽管视频文件的题目和简介里都没有呈现过“康辉”,但在搜寻“康辉”时,AI还是能够搜寻辨认出此视频文件,这就是多模检索的能力。

Retina多媒体AI体验核心

上述MPS和IMS服务的智能化能力,都须要通过Open API调用或者控制台开明应用,而Retina体验核心能够让大家更方便快捷地进行体验,只需上传视频或图片,就能够直观地失去通过智能化解决后的后果。

例如,在Retina平台,你能够体验人像卡通化的成果,只需上传一张人像图片,通过主动解决,就能取得童话格调的卡通人像图片,更多体验就在:http://retina.aliyun.com/

随着视频与AI技术的倒退和演进,AI在媒体生产畛域中施展着越来越重要的作用,以更快的速度、更高的效率实现之前难以实现的事件。

将来,AI将从辅助媒体生产,逐步转变为间接生产有意义、有价值、有情感的视频,进一步减速媒体生产制作全自动解决过程。

更多残缺内容详见课程回放 ⬇️

视频链接:https://v.youku.com/v_show/id…

【腾讯云】轻量 2核2G4M,首年65元

阿里云限时活动-云数据库 RDS MySQL  1核2G配置 1.88/月 速抢

本文由乐趣区整理发布,转载请注明出处,谢谢。

您可能还喜欢...

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据