背景
人脸识别技术在当下曾经非常成熟,但次要在挪动端和专有设施利用上较为遍及,而在Web端并不多见,本着学习的目标从零实现web端的人脸登录性能。

视频流:应用navigator.getUserMedia办法在浏览器中获取视频流+音频流(通过摄像头麦克风),未来能够用于获取任意数据流,比方光盘和传感器。

face_recognition:被称为世界上最简略的人脸识别库(应用的确超简略)。你能够通过Python援用或者命令行的模式应用它,来治理和辨认人脸。该软件包应用dlib中最先进的人脸识别深度学习算法,使得辨认准确率在《Labled Faces in the world》测试基准下达到了99.38%。它同时提供了一个叫face_recognition的命令行工具,以便你能够用命令行对一个文件夹中的图片进行辨认操作。

总体流程:

  1. 启动web服务,应用face_recognition将根底库图片进行建模,将建模后果(辨认到的人脸在图片中的地位和人脸特色)加载到内存。
  2. 前端通过h5页面的getUserMedia办法调用摄像头获取视频流。
  3. 通过canvas抓取一帧视频转化为图片(base64),应用http或websocket发送到后盾。
  4. 后盾承受base64参数并转化为图片保留。
  5. 调用face_recognition.locations和face_recognition.face_encodings进行图片建模。
  6. 调用face_recognition.compare_faces将图片建模后果与根底库后果比对。
  7. 依据定义的比对阈值(被称为容忍度,个别为0.6)返回比对后果,如果阈值小于该值,判断是该用户,认定容许登录,返回零碎界面。否则返回人脸识别失败的信息。

功能模块图:

性能时序图:

效率:

经测试,最终实现能够底库数据为10人时,1s左右实现刷脸登录,辨认成果也能承受,在侧脸,半脸(鼻子到额头)测试后果能够通过。

理论利用可行性

在可视化我的项目中人脸识别联合传统的账号密码登录,可晋升零碎安全性和更好的用户体验。

限度

浏览器调用摄像头只有在https协定、127.0.0.1、localhost下有权限,理论我的项目须要反对https。

兼容性

Desktop

Mobile


留神:

本文只介绍了简略实现,零碎安全性没有过多思考,比方在这个简略零碎中,前端的数据获取流程,非注册用户应用注册用户的照片也能骗过零碎,在照片数据传输的过程中,也会有数据泄露的危险。前面将会针对这些状况进行一系列的优化。

代码
https://github.com/James-Nie/...

阐明

装置 face-recognition

首先阐明,我的零碎是win10,python版本是python3.7,须要当时下载一下3个包并装置:

1、vs c++ 2015,必须是2015,不要问为什么

能够用这个链接:https://www.microsoft.com/zh-...

也能够用社区版

2、Boost C++ Libraries,能够用这个链接:

https://dl.bintray.com/boosto...

抉择boost_1_66_0-msvc-14.0-64.exe,装置到C盘即可

3、cmake

能够用这个链接:https://cmake.org/download/

抉择cmake-3.15.0-rc4-win64-x64.msi

留神!!!cmake在装置过程中切记抉择增加门路到环境变量中。

4、当下面3个都装置好之后,能够间接在命令窗口装置pip install face-recognition即可,在这过程中会主动装置好dlib,当然也能够先装置dlib,这就看各位情绪了。