虹软人脸识别 - ArcFace SDK介绍及使用注意事项

很多朋友在开发人脸识别系统的时候，会遇到各种各样的问题，现在我们以安卓平台使用虹软的免费离线人脸识别SDK开发为例，给大家介绍一下如何开发一个带有图片的人脸检测、视频画面的人脸属性检测、人脸注册识别等功能的人脸识别系统。一、获取SDK1.进入ArcFace2.0的申请地址https://ai.arcsoft.com.cn/product/arcface.html2.填写信息申请并提交申请通过后即可下载SDK，查看APP_ID和SDK_KEY 二、SDK功能介绍虹软ArcFace 2.0 Android SDK包含人脸检测、年龄信息检测、性别信息检测、人脸三维角度检测、活体检测、人脸特征提取、人脸特征比对功能。SDK还支持静态图模式的检测方式和视频流模式的检测方式。 三、使用SDK1. 工程配置将jar文件和so文件放到对应目录，并将jar添加至工程依赖 2. 激活引擎FaceEngine faceEngine = new FaceEngine();//激活方法首次调用有网络和文件操作，后续只有文件操作，建议不要放在主线程中进行int activeCode = faceEngine.active(SettingsActivity.this, Constants.APP_ID, Constants.SDK_KEY);if (activeCode == ErrorInfo.MOK || activeCode == ErrorInfo.MERR_ASF_ALREADY_ACTIVATED) { //激活成功或者已激活过的情况}else{ //激活失败的情况}3. 初始化引擎，推荐在启动时执行faceEngine = new FaceEngine();int afCode = faceEngine.init(context.getApplicationContext(), FaceEngine.ASF_DETECT_MODE_VIDEO, FaceEngine.ASF_OP_0_HIGHER_EXT, 16, 10, FaceEngine.ASF_FACE_RECOGNITION | FaceEngine.ASF_FACE_DETECT | FaceEngine.ASF_FACE3DANGLE|….);if (afCode != ErrorInfo.MOK) { //初始化成功}else{ //初始化失败}4. 人脸检测List faceInfoList = new ArrayList<>();int code = faceEngine.detectFaces(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfoList);if (code == ErrorInfo.MOK && faceInfoList.size() >0) { //人脸检测成功并且检测到了人脸的情况}else{ //人脸检测失败或未检测到人脸的情况}5. 特征提取FaceFeature faceFeature = new FaceFeature();int code = faceEngine.extractFaceFeature(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfo, faceFeature);if (code == ErrorInfo.MOK) { //特征提取成功}else{ //特征提取失败，可根据code查看原因}6. 特征比对public void compareFace(FaceFeature faceFeature1,FaceFeature faceFeature2){ FaceSimilar faceSimilar = new FaceSimilar(); int code = faceEngine.compareFaceFeature(faceFeature1, faceFeature2, faceSimilar); if (code == ErrorInfo.MOK){ //比对成功，可查看faceSimilar中的相似度 }else{ //比对失败，可根据code查看原因 }}7. 活体、人脸三维角度、年龄、性别检测int faceProcessCode = faceEngine.process(nv21, width, height, FaceEngine.CP_PAF_NV21, faceInfoList, FaceEngine.ASF_AGE | FaceEngine.ASF_GENDER | FaceEngine.ASF_FACE3DANGLE | FaceEngine.ASF_LIVENESS);if (faceProcessCode != ErrorInfo.MOK){ //失败的情况}else{ //process成功，可获取结果 List ageInfoList = new ArrayList<>(); List genderInfoList = new ArrayList<>(); List face3DAngleList = new ArrayList<>(); List faceLivenessInfoList = new ArrayList<>(); int ageCode = faceEngine.getAge(ageInfoList); int genderCode = faceEngine.getGender(genderInfoList); int face3DAngleCode = faceEngine.getFace3DAngle(face3DAngleList); int livenessCode = faceEngine.getLiveness(faceLivenessInfoList); //错误码校验，判断是否全部成功 if ((ageCode | genderCode | face3DAngleCode | livenessCode) != ErrorInfo.MOK) { return; }else{ //全部检测成功，可从ageInfoList ，genderInfoList ，face3DAngleList ，faceLivenessInfoList 中获取检测结果 }}8. 销毁引擎，推荐在退出时执行if (faceEngine != null) { int faceEngineCode = faceEngine.unInit(); Log.i(TAG, “unInitEngine: " + faceEngineCode);} 四、注意事项1.检测模式的选择引擎的初始化中需要传入检测模式（视频流模式或图片模式），除了识别功能模块（extractFaceFeature和compareFaceFeature）的其他功能都是有检测模式区分的，对于人脸检测、年龄检测、性别检测、人脸三维角度、活体检测，使用视频流模式处理速度更快。但是视频流模式的活体检测比较特殊：虽然处理后马上能获取结果，但是一段视频流的首帧传入后返回的值为未知，在一段时间后开始拿到的值才是真正的算法结果。2.引擎的多线程使用单个引擎的同一功能模块中的算法功能函数不支持多线程调用，且调用过程中不能进行销毁。若需多线程调用，需要创建多个引擎。举几个例子：在线程1进行人脸检测(detectFaces)时可以在线程2同时进行特征解析(extractFaceFeature)。在线程1进行人脸检测(detectFaces)时不可以在线程2同时进行人脸检测(detectFaces)。在线程1进行特征解析(extractFaceFeature)时不可以在线程2同时进行销毁(unInit)3.运行时报java.lang.UnsatisfiedLinkErrorjava.lang.UnsatisfiedLinkError是很常见的jni相关错误，若出现该错误，原因一般有以下几种：Android工程目录下动态库文件目录下相关动态库不全或动态库文件目录下有多个ABI子目录，但是子目录中的文件列表不同详细介绍：首先，应用安装到设备时，只有该设备的CPU架构支持的最优so库才会被拷贝到本地lib中。例如某个工程的本地库目录中，armeabi-v7下包含四个动态库文件:a.so,b.so,c.so,d.so，arm64-v8a下包含两个动态库文件：c.so,d.so。某台设备支持arm64-v8a，arm64-v8a优于armeabi-v7，于是在安装时只拷贝了arm64-v8a目录下的so文件，加载c.so，d.so时并没有问题，但是在加载a.so或b.so时，由于arm64-v8a目录下无这些文件，就会报java.lang.UnsatisfiedLinkError。以下是动态库文件存放的一些可能情况：解决方案：如果未在build.gradle中重新指定动态库的目录，那么动态库的默认路径将是：projectName->moduleName->src->main->jniLibs。确保动态库目录下的armeabi-v7a目录或兼容armeabi-v7a的目录包含ArcFace 2.0 Android SDK相关的动态库文件，且每个ABI目录下的文件名称列表相同。动态库文件虽然成功加载，但是找不到对应的native方法详细介绍：例如在com.arcsoft.Test类中有一个方法定义为: private native int add(int a,int b)，而在编写C++代码时对应的内容为：extern “C” JNIEXPORT jint JNICALL Java_com_arcsoft_Test_add(JNIEnv *env, jobject, jint a, jint b, jint c)，native定义的方法多了一个参数，对应的Java方法将是private native int add(int a, int b, int c)，两者的方法签名不一致，因此在Java中调用add时将找不到native对应的方法。解决方案：一般在使用SDK时候若产生这一问题都是用了不同版本或不同平台下的jar或动态库，为了确保方法签名一致，请确认jar和动态库文件是相同平台相同版本中的文件。在Java中定义了相关的native方法，但是未加载动态库文件详细介绍：例如在com.arcsoft.Test类中有一个方法定义为: private native int add(int a,int b)，而对应的C++代码中有一个方法为：extern “C” JNIEXPORT jint JNICALL Java_com_arcsoft_Test_add(JNIEnv *env, jobject, jint a, jint b)，但是却一直无法加载，则也可能是没有加载动态库才导致无法找到native方法。解决方案：在调用so文件前需要加载动态库，一般在类的一个静态代码块中调用。 参考文档：Android平台开发指南：https://ai.arcsoft.com.cn/man…API接口说明http://ai.arcsoft.com.cn/stat…