乐趣区

关于云计算:手把手教你在视频剪辑及数字人训练中花式抠图

jiezi

本文为阿里云智能媒体服务 IMS「云端智能剪辑」实际指南第三期，讲述围绕 视频剪辑及数字人训练中的抠图 需要，如何使用 绿幕抠图、实景抠图 能力，实现高效、便捷的视频制作及合成体验。

昱尘|作者
悬刃|算法反对

“你这背景太假了”，博主疆域阿力木因为背景太难看而被质疑，随后画风突转，网友们通过“抠图技术”将博主合成到各种视频背景中，其搞笑水平一度冲上热搜。

抠图技术经常被利用在泛滥场景中，施展着越来越重要的作用。

比方：直播带货场景中，商家通常会搭建绿幕背景，应用“绿幕抠图 ”技术，将绿幕背景替换成与商品相干的图片或视频，帮忙消费者更加直观地理解产品的应用办法、性能及特点；或是在短视频营销中，通过“ 实景抠图”技术，将人像和指定物品从任意背景中抠出，替换成各种风景图片或视频，减少视频对观众的吸引力……

抠图技术也在数字人训练畛域施展着越来越重要的作用，数字人训练须要去除背景，只保留人物视频，能力做后续的剖析训练解决，应用绿幕抠图及实景抠图能够完满 解决数字人训练素材的抠图问题。

IMS 云端智能剪辑已将绿幕抠图以及实景抠图集成到了智能工夫线 Timeline 中，客户能够应用 IMS 根底剪辑能力、调用 IMS 数字人视频合成接口、智能工夫线 Timeline。

本文次要介绍三种场景下的抠图技术，展示如何花式抠图。

三种场景下的抠图技术

场景一：绿幕

生成训练数字人所须要的通明背景素材

训练数字人，在拍摄人物动作视频之后，通常须要将原始素材进行二次解决，生成 只保留人像且背景通明的 webm，或者生成 代表人像区域和代表背景区域的黑白遮罩视频，咱们别离来解说如何利用绿幕抠图别离生成这两种视频。

「云端智能剪辑」工夫线 Timeline 中反对设置 AI_Matting 这个 Effect，并反对设置 Color 为 Green 或者 Blue 两种抠图模式（绿幕抠图或蓝幕抠图），若期望生成带通明通道的 webm，能够在 OutputMediaConfig 指定文件后缀名为 webm 即可。

这是该场景中应用的素材示例：https://v.youku.com/v_show/id_XNjAxOTE3Njk2MA==.html

生成通明 webm

成片成果视频：https://v.youku.com/v_show/id_XNjAxOTE3NzA0OA==.html

Timeline 示例：

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
      "Effects": [{
        "Type": "AI_Matting",
        "Color": "Green"
      }]
    }]
  }]
}
{
  "Height": 1920,
  "Width": 1080,
  "MediaURL": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/output.webm"
}

生成黑白遮罩视频

合成 webm 因为编码器自身速度较慢的起因，耗时方面可能会不满足用户诉求，咱们倡议客户在抠图的同时增加背景、字幕等间接输入 mp4 成片。还有一种场景是客户要输入黑白通明通道视频，在前端展现、后续的剪辑解决中应用（Timeline 中反对传入黑白通明通道视频对原素材进行遮罩），通过在 AI_Matting 这个 Effect 下减少 MaskMode:true 参数，彩色局部示意背景，红色局部示意人物地位和动作信息。

成片成果视频：https://v.youku.com/v_show/id_XNjAxNjQ4ODAwOA==.html

Timeline 示例：

{
  "VideoTracks": [{
    "VideoTrackClips": [{
      "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
      "Effects": [{
        "Type": "AI_Matting",
        "Color": "Green",
        "MaskMode": true
      }]
    }]
  }]
}

场景二：实景

仅保留人像，不保留其余物体

在背景是家具环境或者其余不不便搭建绿幕背景的状况时，须要利用实景抠图，将人像从背景中抠出，并替换其余图片背景或者视频背景。应用 IMS 云端智能剪辑时，能够通过一个 Timeline，一次性实现抠图、背景裁剪、替换背景、减少字幕、减少配乐的所有操作。

应用 AI_RealMatting 这个 Effect，能够一键式地将人物信息从任意背景中抠出，您能够抉择什么都不做，间接输入只有人像、背景通明的 webm 或者黑白遮罩视频，也能够抉择替换背景、减少字幕、配乐，丰盛视频内容，本章节次要介绍后者。

这是该场景中应用的素材示例：https://v.youku.com/v_show/id_XNjAxNjQ4NjcyMA==.html

背景图：

背景音乐（该 BGM 由 AIGC 生成）：https://v.youku.com/v_show/id_XNjAxOTE3NzQ0MA==.html

成片成果视频：https://v.youku.com/v_show/id_XNjAxOTE4NjQzNg==.html

Timeline 示例：

{
  "VideoTracks": [{
      "VideoTrackClips": [{
        "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg",
        "Type": "GlobalImage",
        "Width": 1080,
        "Height": 1920,
        "AdaptMode": "Cover",
        "Effects": [{
          "Type": "Crop",
          "X": 0.0,
          "Y": 0.0,
          "Height": 0.7,
          "Width": 1
        }]
      }]
    },
    {
      "VideoTrackClips": [{
        "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
        "Width": 1080,
        "Height": 1920,
        "AdaptMode": "Cover",
        "Effects": [{"Type": "AI_RealMatting"}]
      }]
    }
  ],
  "SubtitleTracks": [{
    "SubtitleTrackClips": [{
        "Type": "Text",
        "X": 0.02,
        "Y": 0.02,
        "Content": "《美妆小课堂》",
        "FontSize": 80,
        "EffectColorStyle": "CS0001-000012",
        "Font": "Source Han Sans CN"
      },
      {
        "Type": "Text",
        "X": 0.2,
        "Y": 0.7,
        "Content": "金牌美妆师",
        "FontSize": 80,
        "EffectColorStyle": "CS0001-000014"
      }
    ]
  }],
  "AudioTracks": [{
    "AudioTrackClips": [{"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav"}]
  }]
}

Tips:

➤ GlobalImage 能够在背景图片或者 logo 上应用，会自适应将图片的时长设定为视频的总时长；

➤ AdaptMode:Cover，能够将图片放大到指定的 Width 和 Height 上，如果素材的宽高比和设置的 Width 和 Height 不符，会主动进行裁剪；

➤ 在字幕轨道上，能够一键式设置花字款式，设置 EffectColorStyle 为相应的花字 Id，丰盛视频内容。

场景三：实景 + 其余物体保留

保留人像、桌子以及桌子上的物体

如果须要在实景抠图中，保留视频中除了人像以外的其余物体，咱们还行将会反对 自然语言模式的抠图物体保留能力。

基于 CLIP 语言图像预训练模型技术，咱们可能无效剖析视频中的物体类别信息，通过大模型技术无效保留抠图视频除了人像之外其余须要保留的物体。

能够设置 AI_RealMatting 这个 Effect 下的 ReserveObjects 数组内容，指定须要保留的物体自然语言名称，比方在本示例中，咱们冀望保留桌子和手机，就能够设置 ReserveObjects 为 phone 和 desk 组成的数组。

成片成果视频：https://v.youku.com/v_show/id_XNjAxOTE4NjQ4MA==.html

Timeline 示例：

{
  "VideoTracks": [{
      "VideoTrackClips": [{
        "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/background.jpg",
        "Type": "GlobalImage",
        "Width": 1080,
        "Height": 1920,
        "AdaptMode": "Cover",
        "Effects": [{
          "Type": "Crop",
          "X": 0.0,
          "Y": 0.0,
          "Height": 0.7,
          "Width": 1
        }]
      }]
    },
    {
      "VideoTrackClips": [{
        "MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/material.mp4",
        "Width": 1080,
        "Height": 1920,
        "AdaptMode": "Cover",
        "Effects": [{
          "Type": "AI_RealMatting",
          "ReserveObjects": ["phone", "desk"]
        }]
      }]
    }
  ],
  "SubtitleTracks": [{
    "SubtitleTrackClips": [{
        "Type": "Text",
        "X": 0.02,
        "Y": 0.02,
        "Content": "《美妆小课堂》",
        "FontSize": 80,
        "EffectColorStyle": "CS0001-000012",
        "Font": "Source Han Sans CN"
      },
      {
        "Type": "Text",
        "X": 0.2,
        "Y": 0.7,
        "Content": "金牌美妆师",
        "FontSize": 80,
        "EffectColorStyle": "CS0001-000014"
      }
    ]
  }],
  "AudioTracks": [{
    "AudioTrackClips": [{"MediaUrl": "https://your-bucket.oss-cn-shanghai.aliyuncs.com/aigc_bgm.wav"}]
  }]
}

智能媒体服务 IMS（Intelligent Media Services）是 2021 年 5 月正式商业化的一款云产品，其中的云剪辑性能主打视频生产能力，通过组织剪辑须要的工夫线（Timeline）构造，即可在云端对用户的音视频素材进行剪辑，能够了解为 IMS 云端智能剪辑就是一款 API 版的 iMovie。

本篇次要解说绿幕抠图、实景抠图技术在视频剪辑及数字人训练中的应用，IMS 云端智能剪辑还融入了泛滥 AI 能力，助力进步开发者的视频生产效率。

欢送退出官网答疑 钉钉群 征询交换：31783668

退出移动版