基于深度学习的活体检测技术研究与应用
摘要
关键词
深度学习;活体检测
正文
一、活体检测概念
近年来,基于人脸识别的手机解锁、人脸考勤、刷脸闸机、刷脸支付等商业化应用愈加广泛,然而人脸极易用照片、视频等方式进行复制,活体检测正是为了防止恶意伪造和窃取他人的生物特征用于身份验证,从而判断提交的生物特征是否来自有生命的个体。
二、传统的活体检测技术
传统活体检测方法的目标是找出活体和非活体之间的差异,早期的检测技术大多针对单帧图像提取特征,例如镜面反射,模糊度、颜色多样性,色矩等,再利用SVM进行分类,以此判定活体和非活体。
Oulu CMVS提出了使用颜色纹理分析[1]的检测方法。从不同颜色空间中提取互补的低级特征,从亮度和色度通道中利用联合的颜色纹理信息,也即特征直方图是在每个图像带上分别计算的。在三个数据集(CASIA,RA和MSU)上的实验显示,与其他技术相比,结果非常出色。
从单帧图像中提取的特征是有限的,使得活体检测的准确率无法突破。后续的研究则采集了连续多帧人脸图,通过捕获活体与非活体之间微动作的差异来设计特征。
文献[2]提出了基于视频的人脸检测框架,首先通过欧拉运动放大增强脸部表情,然后采用局部二值模式和运动估计两种特征提取算法,多窗口视频聚合后使用SVM对多特征分类,使模型更具备鲁棒性。
文献[3]提出了分类管道,由DMD,局部二值模式和带有直方图相交为内核的SVM组成。通过动态模式分解DMD,得到最大运动能量的子空间图,再分析纹理。
文献[4]提出从视频中测量脉搏的方法进行活体检测,该算法鲁棒性一般,但是从生理学角度考虑活体检测的思路可谓是开创了先河。
三、基于深度学习的活体检测技术
基于深度学习的活体检测技术在近年来取得了较大的进展。Zhenqi Xu[5]等人于2015年提出将LSTM和CNN相结合的人脸活体检测方法。采用多帧输入形成序列,从而在序列中计算关联性,通过CNN的卷积操作提取特征,但是总体性能表现一般。
2017年,文献[6]提出了经过两步训练的CNN网络来完成活体检测。最初,神经网络的每个部分都从给定的面部区域学习特征。 然后在整个面部图像上微调整个模型。 结果表明,这种预训练步骤使CNN可以学习不同的活体特征,从而提高了最终模型的性能和收敛速度。
文献[7]提出了人脸深度图,探索伪造人脸和真实人脸在空间立体分布上的差异,但是实际性能仍然没有超越传统方法。该团队在文献[8]中提出一个CNN-RNN模型,以像素为单位估计脸部深度,并以序列方式估计rPPG信号。然后将脸部深度和rPPG融合起来,以区分是否是真人,实验结果表明该方法超越了传统方法的性能。
四、其他活体检测技术
1、动作指令式活体检测:用户需配合完成指定的动作要求(如人脸左转、右转、张嘴、眨眼等),通过实时检测用户眼睛,嘴巴,头部姿态的状态进行判断。
2、在线图片活体检测:基于图片中人像的破绽(摩尔纹、成像畸形等)来判断目标对象是否为活体,可有效防止屏幕二次翻拍等作弊攻击。
3、视频活体检测:用户上传一个现场录制的视频,录制时读出随机分配的语音校验码。然后通过分析这个视频的人脸信息以及语音校验码是否匹配,完成活体检测判断。
4、近红外活体检测:利用近红外成像原理,实现夜间或无自然光条件下的活体判断。其成像特点(如屏幕无法成像,不同材质反射率不同等)可以实现高鲁棒性的活体判断。
5、3D结构光活体检测:基于3D结构光成像原理,通过人脸表面反射光线构建深度图像,判断目标对象是否为活体,可强效防御图片、视频、屏幕、模具等攻击。
五、人脸活体检测工具
1、OpenCV
OpenCV是一个开源的、跨平台的计算机视觉库,集成了很多图像处理和计算机视觉方面的算法。使用OpenCV通过以下步骤完成人脸活体检测:
1. 构建图像训练数据集
2. 搭建进行活体检测的卷积神经网络
3. 训练活体检测网络
4. 创建推理脚本调用训练好的活体检测模型
2、Dlib
Dlib广泛应用于工业界和学术界,集成了机器学习、数值计算、图形模型推理、图像处理等功能。Dlib可以检测68个人脸关键点,通过对视频的多帧采集并计算Eye Aspect Ratio和Mouth Aspect Ratio,进而判定是否眨眼和张嘴。
参考文献:
[1] Zinelabidine Boulkenafet, Jukka Komulainen, Abdenour Hadid. Face Spoofing Detection Using Colour Texture Analysis. IEEE TRANSACTIONS ON INFORMATION FORENSICS AND SECURITY, 2016.
[2] Samarth Bharadwaj. Face Anti-spoofing via Motion Magnification and Multifeature Videolet Aggregation, 2014.
[3] Santosh Tirunagari, Norman Poh. Detection of Face Spoofing Using Visual Dynamics. IEEE TRANS. ON INFORMATION FORENSICS AND SECURIT, 2015.
[4] Xiaobai Li, Guoying Zhao. Generalized face anti-spoofing by detecting pulse from face videos, 2016 23rd ICPR.
[5] Zhenqi Xu. Learning Temporal Features Using LSTM-CNN Architecture for Face Anti-spoofing, 2015 3rd IAPR.
[6] Gustavo Botelho de Souza, On the Learning of Deep Local Features for Robust Face Spoofing Detection, 2017.
[7] Yousef Atoum, Xiaoming Liu. Face Anti-Spoofing Using Patch and Depth-Based CNNs, 2017.
[8] Yaojie Liu, Amin Jourabloo, Xiaoming Liu, Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision ,CVPR2018.
作者简介:李琳(1983.05-),男,汉族,辽宁铁岭人,工学硕士,大连科技学院讲师,研究方向:计算机视觉。
李瑶(1997.08-),男,汉族,陕西宝鸡人,本科在读,大连科技学院,研究方向:计算机视觉。
...