关于直播:如何快速实现直播美颜功能-接入美颜SDK详解

1 音视频 SDK 和直播美颜 SDK- 应用导读

1.1 AI 视觉利用 - 美颜 SDK

实时音视频是 ZEGO 的一款实时音视频互动服务产品，开发者可通过其灵便易用的 API，构建音视频利用。同时，ZEGO 的另一款产品——AI 视觉，基于当先的 AI 算法，提供美颜、美体、美妆、贴纸等性能。将二者进行搭配应用，可能轻松实现音视频互动和美颜的联合，基于美颜 SDK 能够打造实时美颜利用 - 直播美颜。

音视频与美颜两者搭配应用，可广泛应用于娱乐直播、游戏直播、视频会议等直播美颜场景中。

1.2 实时音视频 SDK, 直播美颜 SDK 概念解释

• ZegoExpress SDK：ZEGO 实时音视频 SDK，提供根底的实时音视频性能，包含直播推拉流、直播连麦等，以下应用 Express SDK 简写示意。
• ZegoEffects SDK：ZEGO AI 视觉 美颜 SDK，提供多项智能图像渲染和算法能力，包含智能美颜、AR 特效、图像宰割等，以下应用 Effects SDK 简写示意。

2 直播美颜 SDK 示例源码

为不便开发者实现音视频和美颜 SDK 二者的搭配应用，ZEGO 提供了示例代码，请分割 ZEGO 商务人员获取，获取链接：(https://www.zego.im/cluesCollect)；

近期有开发布局的开发者可上即构官网查看，恰逢即构七周年全线音视频产品 1 折的优惠，也能够分割商务获取 RTC 产品优惠。

3 集成直播美颜 SDK 前提条件

• 已在我的项目中集成 Effects SDK，详情请参考“AI 视觉”的 疾速开始 – 集成。
• 已获取到 Effects SDK 惟一的鉴权文件，详情请参考“AI 视觉”的 疾速开始 – 在线鉴权。
• 已在我的项目中集成 ZEGO Express SDK，实现根本的实时音视频性能，详情请参考 疾速开始 – 集成 和 疾速开始 – 实现视频通话。
• 已在 ZEGO 控制台 创立我的项目，并申请无效的 AppID 和 AppSign，详情请参考 控制台 – 项目管理 中的“我的项目信息”。

4 直播美颜 SDK 应用步骤

ZEGO Effects SDK 和 Express SDK 搭配应用，对直播视频数据进行实时 AI 视觉解决的原理，如下图：

通过以上流程，具体的直播美颜性能实现步骤，如下图：

1. 初始化 ZEGO Effects SDK 和 Express SDK，初始化在时序上没有限度。
2. 获取视频原始数据，可通过 Express SDK 的 自定义视频采集 或 自定义视频前解决 两种形式获取。
3. 将采集到的视频原始数据，传递给 ZEGO Effects SDK，进行 AI 视觉美颜解决。
4. 将解决完的数据传递给 Express SDK，进行推流。如果在推拉流过程中须要调整 AI 视觉美颜成果，可应用 Effects SDK 的相干性能进行实时更改。
5. 远端用户通过 Express SDK 拉取解决后的数据进行播放。

4.1 初始化 音视频 SDK 和 直播美颜 SDK – Effects/Express SDK

对于两个 SDK 的初始化，不做时序上的限度，以下步骤中以“先初始化 Effects SDK，再初始化 Express SDK”为例。

4.1.1 初始化直播美颜 SDK Effects SDK

1. 导入 Effects 直播美颜 SDK 的模型和资源。

   在应用 Effects SDK 的 AI 美颜相干性能时，必须先导入 AI 美颜 模型和资源。

   // 传入人脸识别模型的绝对路径。人脸检测、大眼、瘦脸性能均须导入
   ArrayList<String> aiResources = new ArrayList<>();
   aiResources.add("sdcard/xxx/xxxxx/FaceDetectionModel.model");
   aiResources.add("sdcard/xxx/xxxxx/SegmentationModel.model");
   
   // 传入资源的绝对路径
   aiResources.add("sdcard/xxx/xxxxx/CommonResources.bundle");
   aiResources.add("sdcard/xxx/xxxxx/PendantResources.bundle");
   aiResources.add("sdcard/xxx/xxxxx/FaceWhiteningResources.bundle");
   ...
   
   // 传入资源或模型的门路列表，必须在 create 之前调用
   ZegoEffects.setResources(aiResources);

   直播美颜 SDK Effects SDK 反对的所有资源和模型请参考“AI 视觉”的 疾速开始 – 导入资源和模型。

2. 创立 直播美颜 Effects 对象。传入在 3 前提条件 中获取到的鉴权文件，创立 直播美颜 Effects 对象。

   // 鉴权内容请以理论获取的文件为准
   ZegoEffects effects = ZegoEffects.create("ABCDEFG", getApplication());

3. 初始化 直播美颜 Effects 对象。

   调用 initEnv 接口初始化 Effects 对象，须要传入待处理视频图像数据的宽高。

   以解决 1280 × 720 的视频图像为例：

   // 初始化 Effects 对象，传入以后待处理的原始图像宽高，须要在自定义视频前解决回调的 onStar 里初始化，express 为前面发明的 Express 引擎对象
   express.setCustomVideoProcessHandler(new IZegoCustomVideoProcessHandler() {public void onStart(ZegoPublishChannel channel) {effects.initEnv(720, 1280);  //SDK1.4.7 后能够不调用此接口，若要调用，请先关上预览再关上摄像头
       }
   }    

4.1.2 初始化 直播美颜 SDK Express SDK

调用 createEngine 接口，初始化 直播美颜 SDK Express SDK。

/** 定义 SDK 引擎对象 */
ZegoExpressEngine express;

ZegoEngineProfile profile = new ZegoEngineProfile();
/** 请通过官网注册获取，格局为 123456789L */
profile.appID = appID;
/** 请通过官网注册获取，格局为："0123456789012345678901234567890123456789012345678901234567890123"（共 64 个字符）**/
profile.appSign = appSign;
/** 通用场景接入 */
profile.scenario = ZegoScenario.GENERAL;
/** 设置 app 的 application 对象 */
profile.application = getApplication();
/** 创立引擎 */
express = ZegoExpressEngine.createEngine(profile, null);

4.2 获取音视频原始数据

Express SDK 可通过“自定义视频采集”和“自定义视频前解决”两种形式获取视频原始数据。

“自定义视频前解决”是由 Express SDK 外部采集视频数据，原始视频数据通过回调获取；“自定义视频采集”则是由开发者自行采集视频数据，并提供给 Express SDK。

两种获取形式的区别如下，开发者可依据理论状况按需抉择。

• 形式一：音视频进阶 - 自定义视频前解决

  以获取 GL_TEXTURE_2D 类型的原始视频数据为例。

  开发者通过调用 enableCustomVideoProcessing 接口，开启自定义视频前解决；开启后，Express SDK 外部会采集视频数据；采集实现后，能够通过 onCapturedUnprocessedTextureData 回调接口，获取采集到的视频原始数据。

  ZegoCustomVideoProcessConfig config = new ZegoCustomVideoProcessConfig();
  // 抉择 GL_TEXTURE_2D 类型视频帧数据
  config.bufferType = ZegoVideoBufferType.GL_TEXTURE_2D;
  
  // 开启自定义前解决
  express.enableCustomVideoProcessing(true, config, ZegoPublishChannel.MAIN);

  具体的原理可参考“实时音视频”的 视频进阶 – 自定义视频前解决。

• 形式二：自定义视频采集

  自定义视频采集，次要依赖开发者自行采集视频数据，具体形式请参考“实时音视频”的 视频进阶 – 自定义视频采集。

4.3 进行 AI 视觉美颜解决

获取到视频原始数据后，把数据传递给 Effects SDK，开始对视频进行 AI 视觉（例如：美颜、美妆、背景宰割等）解决。

• 形式一：音视频进阶 - 自定义视频前解决

  在 onCapturedUnprocessedTextureData 回调中，获取到视频原始数据后，调用 Effects SDK 的相干接口，进行 AI 视觉解决，并将解决后的数据，返回给 Express SDK。

  // 自定义前解决为示例
  // 回调办法获取原始数据
  // 回调解决
  // Effect 初始化反初始化在 Express 视频前解决开始进行回调里
  express.setCustomVideoProcessHandler(new IZegoCustomVideoProcessHandler() {
      @Override
      public void onStart(ZegoPublishChannel channel) {effects.initEnv(720, 1280);
      }
  
      @Override
      public void onStop(ZegoPublishChannel channel) {effects.uninitEnv();     // 肯定要反初始化，否则会造成内存泄露
      }
  
      // Receive texture from ZegoExpressEngine
      @Override
      public void onCapturedUnprocessedTextureData(int textureID, int width, int height, long referenceTimeMillisecond, ZegoPublishChannel channel) {ZegoEffectsVideoFrameParam param = new ZegoEffectsVideoFrameParam();
          param.format = ZegoEffectsVideoFrameFormat.RGBA32;
          param.width = width;
          param.height = height;
      
          // Process buffer by ZegoEffects
          int processedTextureID = effects.processTexture(textureID, param);
      
          // Send processed texture to ZegoExpressEngine
          express.sendCustomVideoProcessedTextureData(processedTextureID, width, height, referenceTimeMillisecond);
      }
  }

• 形式二：音视频进阶 - 自定义视频采集

  在开发者自定义的回调接口中（可参考 视频进阶 – 自定义视频采集 中的“4.3 向 SDK 发送视频帧数据”），调用 Effects SDK 的相干接口，进行 AI 视觉解决，并将解决后的数据，返回给 Express SDK。

应用直播美颜 SDK Effects SDK 实时调整 AI 美颜 成果

在推拉流过程中，如果须要调整 AI 视觉的成果，可应用 Effects SDK 进行实时调整。

以“美白”性能为例，开发者能够调用 enableWhiten 接口开启美白性能，并调用 setWhitenParam 接口设置美白的水平。

// 开启美白性能
effects.enableWhiten(true);

// 设置美白强度，范畴 [0, 100]，默认为 50
ZegoEffectsWhitenParam param = new ZegoEffectsWhitenParam();
param.intensity = 100;
effects.setWhitenParam(param);

4.4 推流解决后的数据

经由 直播美颜 SDK Effects SDK 解决实现后，将解决后的数据，返回给音视频 SDK Express SDK。

音视频 SDK Express SDK 调用 startPublishingStream 接口，传入解决后的数据流 streamID，开始推流，发送给云服务器。

/** 开始推流 */
express.startPublishingStream("streamID");

4.5 拉取解决后的直播音视频数据播放

音视频 SDK Express SDK 开始推流后，远端用户能够调用 startPlayingStream 接口，传入解决后的数据流 streamID，拉取视频数据，进行播放。

/**
 *  开始拉流，设置远端拉流渲染视图，视图模式采纳 SDK 默认的模式，等比缩放填充整个 View
 *  如下 play_view 为 UI 界面上的 SurfaceView/TextureView/SurfaceTexture 对象
 */
express.startPlayingStream("streamID", new ZegoCanvas(play_view));

至此，开发者就能够残缺地实现在推拉流音视频的同时，实时调整 AI 视觉美颜成果。

5 获取更多直播美颜 SDK 帮忙

获取本文直播美颜 SDK 的开发文档、技术支持，可拜访即构文档核心，有任何技术问题可分割咱们业余技术支持。