背景
人脸识别技术在当下曾经非常成熟,但次要在挪动端和专有设施利用上较为遍及,而在Web端并不多见,本着学习的目标从零实现web端的人脸登录性能。
视频流:应用navigator.getUserMedia办法在浏览器中获取视频流+音频流(通过摄像头麦克风),未来能够用于获取任意数据流,比方光盘和传感器。
face_recognition:被称为世界上最简略的人脸识别库(应用的确超简略)。你能够通过Python援用或者命令行的模式应用它,来治理和辨认人脸。该软件包应用dlib中最先进的人脸识别深度学习算法,使得辨认准确率在《Labled Faces in the world》测试基准下达到了99.38%。它同时提供了一个叫face_recognition的命令行工具,以便你能够用命令行对一个文件夹中的图片进行辨认操作。
总体流程:
- 启动web服务,应用face_recognition将根底库图片进行建模,将建模后果(辨认到的人脸在图片中的地位和人脸特色)加载到内存。
- 前端通过h5页面的getUserMedia办法调用摄像头获取视频流。
- 通过canvas抓取一帧视频转化为图片(base64),应用http或websocket发送到后盾。
- 后盾承受base64参数并转化为图片保留。
- 调用face_recognition.locations和face_recognition.face_encodings进行图片建模。
- 调用face_recognition.compare_faces将图片建模后果与根底库后果比对。
- 依据定义的比对阈值(被称为容忍度,个别为0.6)返回比对后果,如果阈值小于该值,判断是该用户,认定容许登录,返回零碎界面。否则返回人脸识别失败的信息。
功能模块图:
性能时序图:
效率:
经测试,最终实现能够底库数据为10人时,1s左右实现刷脸登录,辨认成果也能承受,在侧脸,半脸(鼻子到额头)测试后果能够通过。
理论利用可行性
在可视化我的项目中人脸识别联合传统的账号密码登录,可晋升零碎安全性和更好的用户体验。
限度:
浏览器调用摄像头只有在https协定、127.0.0.1、localhost下有权限,理论我的项目须要反对https。
兼容性
Desktop
Mobile
留神:
本文只介绍了简略实现,零碎安全性没有过多思考,比方在这个简略零碎中,前端的数据获取流程,非注册用户应用注册用户的照片也能骗过零碎,在照片数据传输的过程中,也会有数据泄露的危险。前面将会针对这些状况进行一系列的优化。
代码
https://github.com/James-Nie/...
阐明
装置 face-recognition
首先阐明,我的零碎是win10,python版本是python3.7,须要当时下载一下3个包并装置:
1、vs c++ 2015,必须是2015,不要问为什么
能够用这个链接:https://www.microsoft.com/zh-...
也能够用社区版
2、Boost C++ Libraries,能够用这个链接:
https://dl.bintray.com/boosto...
抉择boost_1_66_0-msvc-14.0-64.exe,装置到C盘即可
3、cmake
能够用这个链接:https://cmake.org/download/
抉择cmake-3.15.0-rc4-win64-x64.msi
留神!!!cmake在装置过程中切记抉择增加门路到环境变量中。
4、当下面3个都装置好之后,能够间接在命令窗口装置pip install face-recognition即可,在这过程中会主动装置好dlib,当然也能够先装置dlib,这就看各位情绪了。