关于android:Android-快速集成手部关键点识别能力-超简单

前言

之前在《用华为 HMS ML kit 人体骨骼辨认技术，Android 疾速实现人体姿态动作抓拍》文章中，咱们给大家介绍了 HMS ML Kit 人体骨骼辨认技术，能够定位头顶、脖子、肩、肘、手段、髋、膝盖、脚踝等多个人体关键点。那么除了辨认人体关键点以外，HMS ML Kit 还为开发者提供了手部关键点辨认技术，能够定位包含手指指尖、关节点，以及手段点等 21 个手部关键点，让人机交互的体验更加丰盛。

利用场景

手部关键点辨认技术在生活中有很多的利用场景。比方拍摄短视频的软件在集成了这种技术后，能够依据手部关键点生成一些可恶或者搞笑的特效，减少短视频的趣味性。

或者是在面向智能家居的场景中，能够自定义一些手势作为智能家电的远距离操控指令，进行一些更加智能的人机交互形式。

开发实战

上面给大家介绍如何疾速集成华为 HMS ML Kit 手部关键点辨认技术，以视频流辨认为例。

1. 开发筹备

具体的筹备步骤能够参考华为开发者联盟：

https://developer.huawei.com/consumer/cn/doc/development/HMS-Guides/ml-process-4

这里列举要害的开发步骤。

1.1 我的项目级 gradle 里配置 Maven 仓地址

buildscript {
    repositories {
             ...
        maven {url 'https://developer.huawei.com/repo/'}
    }
}
 dependencies {
                 ...
        classpath 'com.huawei.agconnect:agcp:1.3.1.300'
    }
allprojects {
    repositories {
             ...
        maven {url 'https://developer.huawei.com/repo/'}
    }
}

1.2 利用级 gradle 里配置 SDK 依赖

dependencies{
    // 引入根底 SDK
    implementation 'com.huawei.hms:ml-computer-vision-handkeypoint:2.0.2.300'
    // 引入手部关键点检测模型包
    implementation 'com.huawei.hms:ml-computer-vision-handkeypoint-model:2.0.2.300'
}

1.3 在文件头增加配置

apply plugin: 'com.android.application'
apply plugin: 'com.huawei.agconnect'

1.4 增加如下语句到 AndroidManifest.xml 文件中，自动更新机器学习模型到设施

<meta-data 
android:name="com.huawei.hms.ml.DEPENDENCY" 
android:value= "handkeypoint"/>

1.5 申请相机权限和读取本地文件权限

<!-- 相机权限 -->
<uses-permission android:name="android.permission.CAMERA" />
<!-- 读权限 -->
<uses-permission android:name="android.permission.READ_EXTERNAL_STORAGE" />

2. 代码开发

2.1 创立手部关键点分析器

MLHandKeypointAnalyzerSetting setting = new MLHandKeypointAnalyzerSetting.Factory()
      // MLHandKeypointAnalyzerSetting.TYPE_ALL 示意所有后果都返回。// MLHandKeypointAnalyzerSetting.TYPE_KEYPOINT_ONLY 示意只返回手部关键点信息。// MLHandKeypointAnalyzerSetting.TYPE_RECT_ONLY 示意只返回手掌区域信息。.setSceneType(MLHandKeypointAnalyzerSetting.TYPE_ALL)
      // 设置同一张图片中最多反对检测的手部区域个数。默认最多反对 10 个手部区域信息检测。.setMaxHandResults(1)
      .create();
MLHandKeypointAnalyzer analyzer = MLHandKeypointAnalyzerFactory.getInstance().getHandKeypointAnalyzer(setting);

2.2 开发者创立辨认后果解决类“HandKeypointTransactor”，该类实现 MLAnalyzer.MLTransactor<T> 接口，应用此类中的“transactResult”办法获取检测后果并实现具体业务。检测后果除了蕴含每个手指点的坐标信息外，还包含手掌置信度，以及每个点的置信度值，能够基于置信度值过滤误辨认的有效手掌，理论利用中可依据对误辨认的容忍水平，设置阙值灵便利用。

public class HandKeypointTransactor implements MLAnalyzer.MLTransactor<List<MLHandKeypoints>> {
          @Override
          public void transactResult(MLAnalyzer.Result<List<MLHandKeypoints>> results) {SparseArray<List<MLHandKeypoints>> analyseList  = result.getAnalyseList();
              // 开发者依据须要解决辨认后果，须要留神，这里只对检测后果进行解决。// 不可调用 ML Kit 提供的其余检测相干接口。}
         @Override
         public void destroy() {// 检测完结回调办法，用于开释资源等。}
}

2.3 设置辨认后果处理器，实现分析器与后果处理器的绑定。

analyzer.setTransactor(new HandKeypointTransactor());

2.4 创立 LensEngine，该类由 ML Kit SDK 提供，用于捕获相机动静视频流并传入分析器。倡议设置的相机显示尺寸不小于 320320 像素，不大于 19201920 像素。

2.5 调用 run 办法，启动相机，读取视频流，进行辨认。

  // 请自行实现 SurfaceView 控件的其余逻辑。SurfaceView mSurfaceView = findViewById(R.id.surface_view);
  try {lensEngine.run(mSurfaceView.getHolder());
  } catch (IOException e) {// 异样解决逻辑。}

2.6 检测实现，进行分析器，开释检测资源。

  if (analyzer != null) {analyzer.stop();
  }
  if (lensEngine != null) {lensEngine.release();
   }

Demo 成果

上面这个 demo 展现了不同手势时手部关键点辨认的成果，开发者可依据理论开发须要进行拓展。

Github 源码

https://github.com/HMS-Core/hms-ml-demo/blob/master/MLKit-Sample/module-body/src/main/java/com/mlkit/sample/activity/HandKeypointActivity.java

更具体的开发指南参考华为开发者联盟官网

https://developer.huawei.com/consumer/cn/hms/huawei-mlkit

欲了解更多详情，请参阅：
华为开发者联盟官网：https://developer.huawei.com/consumer/cn/hms
获取开发领导文档：https://developer.huawei.com/consumer/cn/doc/development
参加开发者探讨请到 Reddit 社区：https://www.reddit.com/r/HMSCore/
下载 demo 和示例代码请到 Github：https://github.com/HMS-Core
解决集成问题请到 Stack Overflow：https://stackoverflow.com/questions/tagged/huawei-mobile-services?tab=Newest

原文链接：https://developer.huawei.com/consumer/cn/forum/topicview?tid=0203346162792430439&fid=18
作者：留下落叶