[发明专利]一种基于视频分析的疲劳状态检测方法及装置

权利要求书

1.一种基于视频分析的疲劳状态检测方法及装置，其特征在于：能够基于视频分析手段，实现相对通用的、非接触式的疲劳状态综合检测过程，具体包括图像预处理、人脸及特征点检测、眼睛和嘴巴区域提取、眼睛和嘴巴状态识别、疲劳参数计算、疲劳状态判定共计六个模块。

2.根据权利要求1所述的方法，其特征在于：所述图像预处理模块负责实时接收外部网络摄像头端发送而来的视频图像数据，并通过调用OpenCV库中的bilateralFilter接口，对其进行双边滤波式实时预处理，并将处理结果发送给人脸及特征点检测模块。

3.根据权利要求1所述的方法，其特征在于：所述人脸及特征点检测模块通过引入多任务级联卷积神经网络(MTCNN)，利用三层级联架构配合卷积神经网络算法进行人脸检测和关键点定位；所述人脸及特征点检测模块引入WIDERFACE和CelebA两大公开人脸库作为其训练数据库，并将训练样本划分为4类标注数据：正样本、负样本、部分人脸样本、地标人脸样本，且4类样本数量的比例设定为1:2:1:2。

4.根据权利要求1所述的方法，其特征在于：所述眼睛和嘴巴区域提取模块通过眼部和嘴部周围特征点的位置信息来实现对眼部和嘴部区域的提取，从而实现对眼部和嘴部区域的定位；提取规则为，

W_e＝2.1*X_e

H_e＝3.6*Y_e

W_m＝1.3*X_m

H_m＝2.0*Y_m

其中X_e和Y_e分别为权利要求3所述特征点检测中眼部的宽度和高度，W_e和H_e分别为提取眼部区域的宽度和高度，X_m和Y_m分别为权利要求3所述特征点检测中嘴部的宽度和高度，W_m和H_m分别为提取嘴部区域的宽度和高度。

5.根据权利要求1所述的方法，其特征在于：所述眼睛和嘴巴状态识别模块基于“Adaboost算法+Haar-like特征”分别实现对眼睛和嘴巴状态识别的训练过程，以此实现对眼睛和嘴巴的特定状态的识别；训练样本包括正样本和负样本两部分，其获取过程通过调用权利要求3所述的MTCNN模型基于权利要求3所述的人脸库进行人脸检测，再结合权利要求4所述眼睛及嘴巴区域提取模块对人眼和嘴巴进行截取实现。

6.根据权利要求1所述的方法，其特征在于：所述疲劳参数计算模块通过提取PERCLOS、眨眼频率、打哈欠共计三类疲劳参数，计算该人的疲劳程度。

7.根据权利要求6所述的方法，所述三类疲劳参数的计算过程分别如下：

1)PERCLOS

2)眨眼频率

其中，n为当前检测时间内所有的眨眼次数，t_帧为处理每帧的时间，N为当前统计时间内的总帧数；

3)嘴巴张开(打哈欠)

F_mouth＝n/N

其中，n为统计时间内嘴巴张开状态的总帧数，N为统计时间内的总帧数。

8.根据权利要求1所述的方法，其特征在于：所述疲劳状态判定模块基于权利要求6所述的疲劳参数，以及各自预先设定的阈值，实现对疲劳状态的综合判定。

9.根据权利要求8所述的方法，所述综合判定过程的特征在于：当PERCLOS值大于预先设定的阈值T_P时，判定此人为疲劳状态；否则将对眨眼频率进行判断，当眨眼频率小于预先设定的T_e时，判断为疲劳状态；否则将对此人的嘴巴张开状态进行判断，当嘴巴张开参数大于预先设定的T_m时，则判断此人存在打哈欠现象，判定此人为疲劳状态。