活体检测眨眼、张嘴、点头、摇头动作一网打尽:人脸面部活体检测系统【含Python源码+PyqtUI界面+原理详解】

阿_旭

已于 2023-07-06 09:16:45 修改

阅读量1.6w

点赞数 18

CC 4.0 BY-SA版权

分类专栏： OpenCV项目实战 AI应用软件开发实战文章标签： python 开发语言活体检测人脸活体检测面部活体检测

于 2023-06-29 07:30:00 首次发布

本文链接：https://blog.csdn.net/qq_42589613/article/details/131440709

AI应用软件开发实战同时被 2 个专栏收录

104 篇文章

订阅专栏

OpenCV项目实战

15 篇文章

订阅专栏

基本功能演示

在这里插入图片描述

摘要：活体检测是用于判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击的一种技术手段。本文详细介绍了其实现的技术原理，同时给出完整的Python实现代码，并且通过PyQT实现了UI界面，更方便进行功能的展示。该人脸面部活体检测系统支持视频与摄像头两种检测模式，可以很好的进行人脸面部的眨眼、张嘴、点头、摇头这四种常用动作的面部检测，而且可以统计每个动作的执行次数。本文提供了完整的Python代码和使用教程，给感兴趣的小伙伴参考学习，完整的代码资源文件获取方式见文末。

点击跳转至文末《完整相关文件及源码》获取

前言

目前，人脸识别技术在我们日常生活应用十分广泛，几乎随处都能会接触到，比如手机的人脸识别解锁、人脸支付、门禁闸机的人脸识别出入等等。但随之而来也会遇到一定的问题，如：人脸识别只能检测目标人脸是否和预留人脸数据特征是否一致，却不能检测是否是真的活人。因此各种欺骗手段也开始露出水面，如何判断被检测对象是否是真的活人，而不是照片、视频甚至是人皮面具，是一个亟待解决的问题，此时，活体检测走上了时代的舞台。
活体检测的主要目的就是判断捕捉到的人脸是真实人脸，还是伪造的人脸攻击（如：彩色纸张打印人脸图，电子设备屏幕中的人脸数字图像以及面具等）。

常见的活体检测主要有以下3种方式：
【1】配合式检测
活体检测认证过程中，系统要求用户配合完成指定的的工作，比如眨眼、抬头、张嘴等动作，检测目标是否为真实的活题。
【2】rgb检测
此类检测方式，适用于阻挡用图片或者视频截图来欺骗人脸识别的攻击行为，通过识别图片上的细微特征来识别是否是真实活体，此类检测方式可分为在线和离线两种版本。
【3】3D结构光检测
活体检测过程中，通过3D结构光的三维成像原理，构成人脸三维特征的比对，判别检测目标是否为真实的活体，以阻挡图片、视频截图、面具的欺骗。

其中配合式的活体检测方式在生活中也十分常见。本文主要就是采用检测人脸的张嘴、眨眼、点头及摇头这四个动作来进行人脸活体检测。

博主基于dlib库通过人脸关键点的距离变化，开发了一款简易的人脸面部活体检测系统，可以通过视频、摄像头2种方式进行人脸面部活体检测，并且展示识别结果。可以识别眨眼、张嘴、点头、摇头这4种常见表情动作，感兴趣的小伙伴可以自己试试。

觉得不错的小伙伴，感谢点赞、关注加收藏！如果大家有任何建议或意见，欢迎在评论区留言交流！

软件界面如下图：在这里插入图片描述

一、软件核心功能介绍及效果演示

软件主要功能包括以下几个部分：

1. 可对视频或者摄像头中的人脸进行眨眼、张嘴、点头、摇头动作检测；
2. 可以统计眨眼、张嘴、点头、摇头每个动作的次数；
3. 可单独进行眨眼、张嘴、点头、摇头的测试检测，如果检测成功，会显示测试通过字样；
4. 可以通过显示面部轮廓线复选框，来选择是否进行人脸轮廓显示，默认是显示的。

（1）视频检测演示
点击打开视频按钮，选择需要检测的视频即可，操作演示如下：
在这里插入图片描述
（2）面部动作次数统计
该系统会自动统计眨眼、张嘴、点头、摇头每个动作的次数，点击充值按钮，会将统计次数重置为0。
演示如下：

（3）单个动作测试功能
通过点击单选按钮眨眼测试、张嘴测试,摇头测试,点头测试来分别检测每个动作，如果检测到了相应动作，则会显示对应动作测试通过字样。操作演示如下：
在这里插入图片描述

二、人脸面部活体检测的基本原理

1.基本原理

本人脸面部活体检测系统主要是基于人脸关键点检测之后，关键点之间的距离变化来进行的。
首先使用dlib库的shape_predictor_68_face_landmarks模型，检测人脸的68个关键点，关键点如下所示：
在这里插入图片描述
人脸各个部位点分布如下：

脸颊线[1,17]
左眼眉毛[18,22]
右眼眉毛[23,27]
鼻梁[28,31]
鼻子[32,36]
左眼[37,42]
右眼[43,48]
上嘴唇外边缘[49,55]
上嘴唇内边缘[66,68]
下嘴唇外边缘[56,60]
下嘴唇内边缘[61,65]

2.眨眼检测

基本原理：基于眼睛长宽比EAR( Eye Aspect Ratio)的变化来判断人眼是否有眨眼动作。当人眼睁开时，EAR在某个值上下波动，当人眼闭合时，EAR迅速下降，理论上会接近于零。所以我们可以认为当EAR低于某个阈值时，眼睛处于闭合状态。为检测眨眼次数，需要设置同一次眨眼的连续帧数。眨眼速度比较快，一般1~3帧就完成了眨眼动作。两个阈值都要根据实际情况设置。
在这里插入图片描述
**判断标准：**我们分别计算左右两只眼睛的纵横比并取平均值，作为眨眼的指标，经过多次测试后，选取0.3作为阈值。在连续检测到两真EAR小于阈值，即眼睛一睁一闭时，我们将记录为一次眨眼。

注:阈值可能由于摄像头远近或人脸形状等因素的影响，可能需要根据实际情况进行微调。

眼睛长宽比EAR距离计算代码如下：

def EAR(eye):
    # 默认二范数：求特征值，然后求最大特征值得算术平方根
    A = np.linalg.norm(eye[1] - eye[5])
    B = np.linalg.norm(eye[2] - eye[4])
    C = np.linalg.norm(eye[0] - eye[3])
    return (A + B) / (2.0 * C)

眨眼判断核心代码如下：

# 提取左眼和右眼坐标，然后使用该坐标计算两只眼睛的眼睛纵横比
leftEye = shape[lStart:lEnd]
rightEye = shape[rStart:rEnd]
ear = EAR(leftEye) + EAR(rightEye) / 2.0
# 判断眼睛纵横比是否低于眨眼阈值
if ear < EAR_THRESH:
    count_eye += 1
else:
    # 检测到一次闭眼
    if count_eye >= EYE_close:
        total += 1
    count_eye = 0

3.张嘴检测

基本原理： 类似眨眼检测类似，计算嘴巴的长宽比MAR（Mouth Aspect Ratio）,当MAR大于设定的阈值时，认为张开了嘴巴。
嘴巴长宽比MAR距离计算代码如下：

def MAR(mouth):
    # 默认二范数：求特征值，然后求最大特征值得算术平方根
    A = np.linalg.norm(mouth[2] - mouth[10])  # 51, 59（人脸68个关键点）
    B = np.linalg.norm(mouth[4] - mouth[8])  # 53, 57
    C = np.linalg.norm(mouth[0] - mouth[6])  # 49, 55
    return (A + B) / (2.0 * C)

张嘴判断核心代码如下：

Mouth = shape[mStart:mEnd]
mar = MAR(Mouth)
 # 判断嘴唇纵横比是否高于张嘴阈值，如果是，则增加张嘴帧计数器
 if mar > MAR_THRESH:
     COUNTER_MOUTH += 1
 else:
     # 如果张嘴帧计数器不等于0，则增加张嘴的总次数
     if COUNTER_MOUTH >= 2:
         TOTAL_MOUTH += 1
     COUNTER_MOUTH = 0

4.摇头与点头检测

同理对于摇头与点头，我们只需计算左右两侧脸颊宽度变化，以及鼻子到下巴的距离，即可判断是点头与摇头动作。
摇头判断核心代码如下：

# 左脸大于右脸
if face_left1 >= face_right1 + Config.FACE_DIFF and face_left2 >= face_right2 + Config.FACE_DIFF:
    distance_left += 1
# 右脸大于左脸
if face_right1 >= face_left1 + Config.FACE_DIFF and face_right2 >= face_left2 + Config.FACE_DIFF:
    distance_right += 1
# 左脸大于右脸，并且右脸大于左脸，判定摇头
if distance_left != 0 and distance_right != 0:
    TOTAL_FACE += 1
    distance_right = 0
    distance_left = 0