本文为阿里云智能媒体服务IMS「云端智能剪辑」实际指南第三期，讲述围绕 视频剪辑及数字人训练中的抠图需要，如何使用 绿幕抠图、实景抠图能力，实现高效、便捷的视频制作及合成体验。
昱尘｜作者
悬刃｜算法反对
“你这背景太假了”，博主疆域阿力木因为背景太难看而被质疑，随后画风突转，网友们通过“抠图技术”将博主合成到各种视频背景中，其搞笑水平一度冲上热搜。
抠图技术经常被利用在泛滥场景中，施展着越来越重要的作用。
比方：直播带货场景中，商家通常会搭建绿幕背景，应用“绿幕抠图”技术，将绿幕背景替换成与商品相干的图片或视频，帮忙消费者更加直观地理解产品的应用办法、性能及特点；或是在短视频营销中，通过“实景抠图”技术，将人像和指定物品从任意背景中抠出，替换成各种风景图片或视频，减少视频对观众的吸引力……
抠图技术也在数字人训练畛域施展着越来越重要的作用，数字人训练须要去除背景，只保留人物视频，能力做后续的剖析训练解决，应用绿幕抠图及实景抠图能够完满解决数字人训练素材的抠图问题。
IMS云端智能剪辑已将绿幕抠图以及实景抠图集成到了智能工夫线Timeline中，客户能够应用IMS根底剪辑能力、调用IMS数字人视频合成接口、智能工夫线Timeline。
本文次要介绍三种场景下的抠图技术，展示如何花式抠图。
三种场景下的抠图技术
场景一：绿幕
生成训练数字人所须要的通明背景素材
训练数字人，在拍摄人物动作视频之后，通常须要将原始素材进行二次解决，生成只保留人像且背景通明的webm，或者生成代表人像区域和代表背景区域的黑白遮罩视频，咱们别离来解说如何利用绿幕抠图别离生成这两种视频。
「云端智能剪辑」工夫线Timeline中反对设置AI_Matting这个Effect，并反对设置Color为Green或者Blue两种抠图模式（绿幕抠图或蓝幕抠图），若期望生成带通明通道的webm，能够在OutputMediaConfig指定文件后缀名为webm即可。
这是该场景中应用的素材示例：https://v.youku.com/v_show/id_XNjAxOTE3Njk2MA==.html
生成通明webm
成片成果视频：https://v.youku.com/v_show/id_XNjAxOTE3NzA0OA==.html
Timeline示例：
{ "VideoTracks": [{ "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4", "Effects": [{ "Type": "AI_Matting", "Color": "Green" }] }] }]}{ "Height": 1920, "Width": 1080, "MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/output.webm"}生成黑白遮罩视频
合成webm因为编码器自身速度较慢的起因，耗时方面可能会不满足用户诉求，咱们倡议客户在抠图的同时增加背景、字幕等间接输入mp4成片。还有一种场景是客户要输入黑白通明通道视频，在前端展现、后续的剪辑解决中应用（Timeline中反对传入黑白通明通道视频对原素材进行遮罩），通过在AI_Matting这个Effect下减少MaskMode:true参数，彩色局部示意背景，红色局部示意人物地位和动作信息。
成片成果视频：https://v.youku.com/v_show/id_XNjAxNjQ4ODAwOA==.html
Timeline示例：
{ "VideoTracks": [{ "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4", "Effects": [{ "Type": "AI_Matting", "Color": "Green", "MaskMode": true }] }] }]}场景二：实景
仅保留人像，不保留其余物体
在背景是家具环境或者其余不不便搭建绿幕背景的状况时，须要利用实景抠图，将人像从背景中抠出，并替换其余图片背景或者视频背景。应用IMS云端智能剪辑时，能够通过一个Timeline，一次性实现抠图、背景裁剪、替换背景、减少字幕、减少配乐的所有操作。
应用AI_RealMatting这个Effect，能够一键式地将人物信息从任意背景中抠出，您能够抉择什么都不做，间接输入只有人像、背景通明的webm或者黑白遮罩视频，也能够抉择替换背景、减少字幕、配乐，丰盛视频内容，本章节次要介绍后者。
这是该场景中应用的素材示例：https://v.youku.com/v_show/id_XNjAxNjQ4NjcyMA==.html
背景图：
背景音乐（该BGM由AIGC生成）：https://v.youku.com/v_show/id_XNjAxOTE3NzQ0MA==.html
成片成果视频：https://v.youku.com/v_show/id_XNjAxOTE4NjQzNg==.html
Timeline示例：
{ "VideoTracks": [{ "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg", "Type": "GlobalImage", "Width": 1080, "Height": 1920, "AdaptMode": "Cover", "Effects": [{ "Type": "Crop", "X": 0.0, "Y": 0.0, "Height": 0.7, "Width": 1 }] }] }, { "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4", "Width": 1080, "Height": 1920, "AdaptMode": "Cover", "Effects": [{ "Type": "AI_RealMatting" }] }] } ], "SubtitleTracks": [{ "SubtitleTrackClips": [{ "Type": "Text", "X": 0.02, "Y": 0.02, "Content": "《美妆小课堂》", "FontSize": 80, "EffectColorStyle": "CS0001-000012", "Font": "Source Han Sans CN" }, { "Type": "Text", "X": 0.2, "Y": 0.7, "Content": "金牌美妆师", "FontSize": 80, "EffectColorStyle": "CS0001-000014" } ] }], "AudioTracks": [{ "AudioTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav" }] }]}Tips:
➤ GlobalImage能够在背景图片或者logo上应用，会自适应将图片的时长设定为视频的总时长；
➤ AdaptMode:Cover，能够将图片放大到指定的Width和Height上，如果素材的宽高比和设置的Width和Height不符，会主动进行裁剪；
➤ 在字幕轨道上，能够一键式设置花字款式，设置EffectColorStyle为相应的花字Id，丰盛视频内容。
场景三：实景+其余物体保留
保留人像、桌子以及桌子上的物体
如果须要在实景抠图中，保留视频中除了人像以外的其余物体，咱们还行将会反对自然语言模式的抠图物体保留能力。
基于CLIP语言图像预训练模型技术，咱们可能无效剖析视频中的物体类别信息，通过大模型技术无效保留抠图视频除了人像之外其余须要保留的物体。
能够设置AI_RealMatting这个Effect下的ReserveObjects数组内容，指定须要保留的物体自然语言名称，比方在本示例中，咱们冀望保留桌子和手机，就能够设置ReserveObjects为phone和desk组成的数组。
成片成果视频：https://v.youku.com/v_show/id_XNjAxOTE4NjQ4MA==.html
Timeline示例：
{ "VideoTracks": [{ "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg", "Type": "GlobalImage", "Width": 1080, "Height": 1920, "AdaptMode": "Cover", "Effects": [{ "Type": "Crop", "X": 0.0, "Y": 0.0, "Height": 0.7, "Width": 1 }] }] }, { "VideoTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4", "Width": 1080, "Height": 1920, "AdaptMode": "Cover", "Effects": [{ "Type": "AI_RealMatting", "ReserveObjects": ["phone", "desk"] }] }] } ], "SubtitleTracks": [{ "SubtitleTrackClips": [{ "Type": "Text", "X": 0.02, "Y": 0.02, "Content": "《美妆小课堂》", "FontSize": 80, "EffectColorStyle": "CS0001-000012", "Font": "Source Han Sans CN" }, { "Type": "Text", "X": 0.2, "Y": 0.7, "Content": "金牌美妆师", "FontSize": 80, "EffectColorStyle": "CS0001-000014" } ] }], "AudioTracks": [{ "AudioTrackClips": [{ "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav" }] }]}智能媒体服务IMS（Intelligent Media Services）是2021年5月正式商业化的一款云产品，其中的云剪辑性能主打视频生产能力，通过组织剪辑须要的工夫线（Timeline）构造，即可在云端对用户的音视频素材进行剪辑，能够了解为IMS云端智能剪辑就是一款API版的iMovie。
本篇次要解说绿幕抠图、实景抠图技术在视频剪辑及数字人训练中的应用，IMS云端智能剪辑还融入了泛滥AI能力，助力进步开发者的视频生产效率。
欢送退出官网答疑钉钉群征询交换：31783668