关于直播:如何快速实现直播美颜功能-接入美颜SDK详解

实时音视频是 ZEGO 的一款实时音视频互动服务产品，开发者可通过其灵便易用的 API，构建音视频利用。同时，ZEGO 的另一款产品——AI 视觉，基于当先的 AI 算法，提供美颜、美体、美妆、贴纸等性能。将二者进行搭配应用，可能轻松实现音视频互动和美颜的联合，基于美颜 SDK 能够打造实时美颜利用 - 直播美颜。

音视频与美颜两者搭配应用，可广泛应用于娱乐直播、游戏直播、视频会议等直播美颜场景中。

ZegoExpress SDK：ZEGO 实时音视频 SDK，提供根底的实时音视频性能，包含直播推拉流、直播连麦等，以下应用 Express SDK 简写示意。
ZegoEffects SDK：ZEGO AI 视觉美颜 SDK，提供多项智能图像渲染和算法能力，包含智能美颜、AR 特效、图像宰割等，以下应用 Effects SDK 简写示意。

为不便开发者实现音视频和美颜 SDK 二者的搭配应用，ZEGO 提供了示例代码，请分割 ZEGO 商务人员获取，获取链接：(https://www.zego.im/cluesCollect)；

近期有开发布局的开发者可上即构官网查看，恰逢即构七周年全线音视频产品 1 折的优惠，也能够分割商务获取 RTC 产品优惠。

已在我的项目中集成 Effects SDK，详情请参考“AI 视觉”的疾速开始 – 集成。
已获取到 Effects SDK 惟一的鉴权文件，详情请参考“AI 视觉”的疾速开始 – 在线鉴权。
已在我的项目中集成 ZEGO Express SDK，实现根本的实时音视频性能，详情请参考疾速开始 – 集成和疾速开始 – 实现视频通话。
已在 ZEGO 控制台创立我的项目，并申请无效的 AppID 和 AppSign，详情请参考控制台 – 项目管理中的“我的项目信息”。

ZEGO Effects SDK 和 Express SDK 搭配应用，对直播视频数据进行实时 AI 视觉解决的原理，如下图：

通过以上流程，具体的直播美颜性能实现步骤，如下图：

初始化 ZEGO Effects SDK 和 Express SDK，初始化在时序上没有限度。
获取视频原始数据，可通过 Express SDK 的自定义视频采集或自定义视频前解决两种形式获取。
将采集到的视频原始数据，传递给 ZEGO Effects SDK，进行 AI 视觉美颜解决。
将解决完的数据传递给 Express SDK，进行推流。如果在推拉流过程中须要调整 AI 视觉美颜成果，可应用 Effects SDK 的相干性能进行实时更改。
远端用户通过 Express SDK 拉取解决后的数据进行播放。

对于两个 SDK 的初始化，不做时序上的限度，以下步骤中以“先初始化 Effects SDK，再初始化 Express SDK”为例。

导入 Effects 直播美颜 SDK 的模型和资源。

在应用 Effects SDK 的 AI 美颜相干性能时，必须先导入 AI 美颜模型和资源。

// 传入人脸识别模型的绝对路径。人脸检测、大眼、瘦脸性能均须导入
ArrayList<String> aiResources = new ArrayList<>();
aiResources.add("sdcard/xxx/xxxxx/FaceDetectionModel.model");
aiResources.add("sdcard/xxx/xxxxx/SegmentationModel.model");

// 传入资源的绝对路径
aiResources.add("sdcard/xxx/xxxxx/CommonResources.bundle");
aiResources.add("sdcard/xxx/xxxxx/PendantResources.bundle");
aiResources.add("sdcard/xxx/xxxxx/FaceWhiteningResources.bundle");
...

// 传入资源或模型的门路列表，必须在 create 之前调用
ZegoEffects.setResources(aiResources);

直播美颜 SDK Effects SDK 反对的所有资源和模型请参考“AI 视觉”的疾速开始 – 导入资源和模型。

创立直播美颜 Effects 对象。传入在 3 前提条件中获取到的鉴权文件，创立直播美颜 Effects 对象。
```
// 鉴权内容请以理论获取的文件为准
ZegoEffects effects = ZegoEffects.create("ABCDEFG", getApplication());
```

初始化直播美颜 Effects 对象。

调用 initEnv 接口初始化 Effects 对象，须要传入待处理视频图像数据的宽高。

以解决 1280 × 720 的视频图像为例：

// 初始化 Effects 对象，传入以后待处理的原始图像宽高，须要在自定义视频前解决回调的 onStar 里初始化，express 为前面发明的 Express 引擎对象
express.setCustomVideoProcessHandler(new IZegoCustomVideoProcessHandler() {public void onStart(ZegoPublishChannel channel) {effects.initEnv(720, 1280);  //SDK1.4.7 后能够不调用此接口，若要调用，请先关上预览再关上摄像头
    }
}

调用 createEngine 接口，初始化直播美颜 SDK Express SDK。

/** 定义 SDK 引擎对象 */
ZegoExpressEngine express;

ZegoEngineProfile profile = new ZegoEngineProfile();
/** 请通过官网注册获取，格局为 123456789L */
profile.appID = appID;
/** 请通过官网注册获取，格局为："0123456789012345678901234567890123456789012345678901234567890123"（共 64 个字符）**/
profile.appSign = appSign;
/** 通用场景接入 */
profile.scenario = ZegoScenario.GENERAL;
/** 设置 app 的 application 对象 */
profile.application = getApplication();
/** 创立引擎 */
express = ZegoExpressEngine.createEngine(profile, null);

Express SDK 可通过“自定义视频采集”和“自定义视频前解决”两种形式获取视频原始数据。

“自定义视频前解决”是由 Express SDK 外部采集视频数据，原始视频数据通过回调获取；“自定义视频采集”则是由开发者自行采集视频数据，并提供给 Express SDK。

两种获取形式的区别如下，开发者可依据理论状况按需抉择。

获取数据形式	视频数据采集形式	劣势
自定义视频前解决	SDK 外部采集。	极简搭配应用 Express SDK 和 Effects SDK，开发者无需治理设施输出源，仅需对 Express SDK 抛出来的原始数据进行操作，而后传回 Express SDK 即可。
自定义视频采集	开发者自行采集。	在进行多厂家对接时，业务实现更加灵便，同时性能优化的空间更大。

形式一：音视频进阶 - 自定义视频前解决

以获取 GL_TEXTURE_2D 类型的原始视频数据为例。

开发者通过调用 enableCustomVideoProcessing 接口，开启自定义视频前解决；开启后，Express SDK 外部会采集视频数据；采集实现后，能够通过 onCapturedUnprocessedTextureData 回调接口，获取采集到的视频原始数据。
```
ZegoCustomVideoProcessConfig config = new ZegoCustomVideoProcessConfig();
// 抉择 GL_TEXTURE_2D 类型视频帧数据
config.bufferType = ZegoVideoBufferType.GL_TEXTURE_2D;

// 开启自定义前解决
express.enableCustomVideoProcessing(true, config, ZegoPublishChannel.MAIN);
```
具体的原理可参考“实时音视频”的视频进阶 – 自定义视频前解决。
形式二：自定义视频采集

自定义视频采集，次要依赖开发者自行采集视频数据，具体形式请参考“实时音视频”的视频进阶 – 自定义视频采集。

获取到视频原始数据后，把数据传递给 Effects SDK，开始对视频进行 AI 视觉（例如：美颜、美妆、背景宰割等）解决。

形式一：音视频进阶 - 自定义视频前解决

在 onCapturedUnprocessedTextureData 回调中，获取到视频原始数据后，调用 Effects SDK 的相干接口，进行 AI 视觉解决，并将解决后的数据，返回给 Express SDK。

// 自定义前解决为示例
// 回调办法获取原始数据
// 回调解决
// Effect 初始化反初始化在 Express 视频前解决开始进行回调里
express.setCustomVideoProcessHandler(new IZegoCustomVideoProcessHandler() {
    @Override
    public void onStart(ZegoPublishChannel channel) {effects.initEnv(720, 1280);
    }

    @Override
    public void onStop(ZegoPublishChannel channel) {effects.uninitEnv();     // 肯定要反初始化，否则会造成内存泄露
    }

    // Receive texture from ZegoExpressEngine
    @Override
    public void onCapturedUnprocessedTextureData(int textureID, int width, int height, long referenceTimeMillisecond, ZegoPublishChannel channel) {ZegoEffectsVideoFrameParam param = new ZegoEffectsVideoFrameParam();
        param.format = ZegoEffectsVideoFrameFormat.RGBA32;
        param.width = width;
        param.height = height;
    
        // Process buffer by ZegoEffects
        int processedTextureID = effects.processTexture(textureID, param);
    
        // Send processed texture to ZegoExpressEngine
        express.sendCustomVideoProcessedTextureData(processedTextureID, width, height, referenceTimeMillisecond);
    }
}

形式二：音视频进阶 - 自定义视频采集

在开发者自定义的回调接口中（可参考视频进阶 – 自定义视频采集中的“4.3 向 SDK 发送视频帧数据”），调用 Effects SDK 的相干接口，进行 AI 视觉解决，并将解决后的数据，返回给 Express SDK。

在推拉流过程中，如果须要调整 AI 视觉的成果，可应用 Effects SDK 进行实时调整。

以“美白”性能为例，开发者能够调用 enableWhiten 接口开启美白性能，并调用 setWhitenParam 接口设置美白的水平。

// 开启美白性能
effects.enableWhiten(true);

// 设置美白强度，范畴 [0, 100]，默认为 50
ZegoEffectsWhitenParam param = new ZegoEffectsWhitenParam();
param.intensity = 100;
effects.setWhitenParam(param);

经由直播美颜 SDK Effects SDK 解决实现后，将解决后的数据，返回给音视频 SDK Express SDK。

音视频 SDK Express SDK 调用 startPublishingStream 接口，传入解决后的数据流 streamID，开始推流，发送给云服务器。

/** 开始推流 */
express.startPublishingStream("streamID");

音视频 SDK Express SDK 开始推流后，远端用户能够调用 startPlayingStream 接口，传入解决后的数据流 streamID，拉取视频数据，进行播放。

/**
 *  开始拉流，设置远端拉流渲染视图，视图模式采纳 SDK 默认的模式，等比缩放填充整个 View
 *  如下 play_view 为 UI 界面上的 SurfaceView/TextureView/SurfaceTexture 对象
 */
express.startPlayingStream("streamID", new ZegoCanvas(play_view));

至此，开发者就能够残缺地实现在推拉流音视频的同时，实时调整 AI 视觉美颜成果。

获取本文直播美颜 SDK 的开发文档、技术支持，可拜访即构文档核心，有任何技术问题可分割咱们业余技术支持。

关于直播:如何快速实现直播美颜功能-接入美颜SDK详解

1 音视频 SDK 和直播美颜 SDK- 应用导读

1.1 AI 视觉利用 - 美颜 SDK

1.2 实时音视频 SDK, 直播美颜 SDK 概念解释

2 直播美颜 SDK 示例源码

3 集成直播美颜 SDK 前提条件

4 直播美颜 SDK 应用步骤

4.1 初始化音视频 SDK 和直播美颜 SDK – Effects/Express SDK

4.1.1 初始化直播美颜 SDK Effects SDK

4.1.2 初始化直播美颜 SDK Express SDK

4.2 获取音视频原始数据

4.3 进行 AI 视觉美颜解决

应用直播美颜 SDK Effects SDK 实时调整 AI 美颜成果

4.4 推流解决后的数据

4.5 拉取解决后的直播音视频数据播放

5 获取更多直播美颜 SDK 帮忙