[发明专利]一种基于改进的级联卷积神经网的人体疲劳检测方法

权利要求书

1.一种基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，包括以下步骤：

S1、将人脸面部图像由RGB空间映射到YCrCb空间；R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr分别表示色彩和饱和度信息；

S2、采用Otsu最大类间方差算法进行自适应近肤色阈值分割，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀过滤噪点，保留肤色候选区域；

S3、分割肤色候选区域的最小外接矩形区域图像，输入CNN分类器分类获取人脸区域图像；

S4、利用灰度积分投影对人脸图像进行人眼粗定位；

S5、利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位；

S6、构建改进的级联卷积神经网PCNN网络，该网络首先将图像进行2×2分割并采用并行卷积来进行加速计算，同时，最后一层前采用3×3的非共享卷积对特征点进行回归预测，检测人眼六个特征点并利用特征点计算人眼开闭度，识别人眼状态；

S7、利用PERCLOS闭眼帧数百分比准则识别人体疲劳状态；

所述步骤S5利用G-RCNN灰度-区域卷积神经网检测人眼，对人眼完成精定位，具体包括：将人眼候选区域输入G-RCNN网络，提取人眼特征进行分类以及人眼框回归来定位人眼：

通过设计一3层结构的CNN结合RPN区域推荐网络，主要实现人眼分类与人眼框回归预测两种任务，网络利用3×3卷积核提取图像特征，利用2×2的最大池化进行降维，激励函数采用Tanh函数，Tanh函数形式为(e^z-e^-z)/(e^z+e^-z)，函数的取值范围在[-1,1]，均值为0，在训练中性能较sigmod函数更优，人眼定位误差函数：

L_err表示实际人眼框与预测的人眼眶的定位误差；x，y，w，h分别表示实际人眼框的中心点坐标与长、宽；x'、y'、w'、h'分别表示预测人眼框的中心点坐标与长、宽；

步骤S6中，检测人眼6个特征点并利用特征点计算人眼开闭度，识别人眼状态，具体包括：

通过检测了人眼的6个特征点，分别为上下眼睑的内交点与外交点，内外交点连线三等分点靠近内交点处与上下眼睑的交点，内外交点连线三等分点靠近外交点处与上下眼睑的交点识别人眼状态，特征点具体检测方式为一种包含4个并行子卷积系统的CNN结构，每个子卷积系统包含3个卷积层，两个2×2池化层，激励函数采用Tanh函数，最后一个卷积层采用不共享卷积方式，利用眼睑特征与其他区域特征的差异性，通过计算人眼的开闭度进行人眼状态识别，人眼开闭度计算公式为：

其中d为点A、B之间的直线距离，d₁为点C、D之间的距离，d₂为点E、F之间的距离，当比值0.1时，认为当前人眼状态为闭眼状态。

2.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S1由RGB空间映射到YCrCb空间的关系式为：

Y＝0.2990*R+0.5870*G+0.1140*B

Cr＝-0.1687*R-0.3313*G+0.5000*B+128

Cb＝0.5000*R-0.4187*G-0.0813*B+128

其中，R,G,B代表红绿蓝三原色，Y代表亮度信息，Cb，Cr代表色度信息。

3.根据权利要求1所述的基于改进的级联卷积神经网的人体疲劳检测方法，其特征在于，所述步骤S2肤色阈值选取采用Otsu最大类间方差自适应算法，去除与肤色信息差距较大的背景信息，经过腐蚀、膨胀保留肤色候选区域，该算法关系式为:

g＝w₀w₁(u₀-u₁)²

g为类间方差，算法步骤为：将利用阈值T将图像分为前景和背景，记属于前景的像素点数占整幅图像的比例记为w₀，其平均灰度μ₀；背景像素点数占整幅图像的比例为w₁，其平均灰度为μ₁，图像的总平均灰度记为μ，遍历0～255各灰阶，寻找使类间方差最大的阈值T。