[发明专利]基于深度学习的眼睛睁闭状态检测方法

权利要求书

1.一种基于深度学习的眼睛睁闭状态检测方法，其特征在于：包括如下步骤：

1）对输入图像进行人脸检测，如果检测到人脸，就记录下当前人脸区域，得到人脸区域图像，如果当前输入图像没有检测到人脸，则结束对当前输入图像的处理，继续对下一帧输入图像进行人脸检测；

2）将人脸区域图像统一尺寸后输入到用于人眼关键点检测的卷积神经网络模型，获得左眼和右眼的中心点的横纵坐标值；具体步骤如下：

2-1）将人脸图像统一为39*39大小的灰度图像；

2-2）将步骤2-1）得到的灰度人脸图像输入到用于人眼关键点检测的卷积神经网络模型，卷积神经网络模型输出四个坐标点值，分别对应左眼中心点的横坐标值、左眼中心点的纵坐标值、右眼中心点的横坐标值及右眼中心点的纵坐标值；

3）根据眼睛中心点坐标值和12 *6的宽高值确定眼睛所在的矩形区域，分别得到左眼和右眼的区域图像；

4）分别将左眼和右眼图像统一尺寸后输入到用于眼睛睁闭状态分类的卷积神经网络模型，得到双眼的睁闭状态结果。

2.根据权利要求1所述的基于深度学习的眼睛睁闭状态检测方法，其特征在于：所述的用于人眼关键点检测的卷积神经网络模型是一个由三个卷积层，三个最大池化层和两个全连接层组成的卷积神经网络，具体描述如下：

网络输入层是大小为39*39*1的人脸灰度图像；第一层卷积核大小为3*3，卷积核步长为1，卷积核个数为128个；第一层最大池化层的核大小为3*3，移动步长为2，边缘填充数为1；第二层卷积核大小为3*3，卷积核步长为1，卷积核个数为128个；第二层最大池化层的核大小为3*3，移动步长为2，边缘填充数为1；第三层卷积核大小为2*2，卷积核步长为1，卷积核个数为256个；第一层最大池化层的核大小为2*2，移动步长为2；第一个全连接层的结点数量为48；第二个全连接层的节点数量为4；每个卷积层后都经过Relu激活函数处理，增加网络的非线性映射能力,第三层卷积层后接了一个Dropout层防止过拟合，其比例为0.5；输出结果对应着双眼中心点的四个坐标点值，依次为左眼中心点的横坐标值、左眼中心点的纵坐标值、右眼中心点的横坐标值及右眼中心点的纵坐标值，坐标系原点为人脸图像左上角，x轴水平向右，y轴水平向下。

3.根据权利要求2所述的基于深度学习的眼睛睁闭状态检测方法，其特征在于：在39*39的人脸图像中，以步骤2）得到的坐标值为中心点，宽为12个像素点，高为6个像素点确定的矩形区域图像，作为眼睛区域图像。

4.根据权利要求2所述的基于深度学习的眼睛睁闭状态检测方法，其特征在于：在所述的步骤4）中，判断双眼睁闭状态的具体步骤如下：

4-1）将眼睛区域图像统一为31*51大小的灰度图像；

5-2）分别将左眼和右眼的眼睛区域图像输入到用于睁闭状态分类的卷积神经网络模型，得到左右眼的状态：睁眼或者闭眼。

5.根据权利要求4所述的基于深度学习的眼睛睁闭状态检测方法，其特征在于：所述的用于眼睛睁闭状态分类的卷积神经网络模型是一个由两个卷积层，两个最大池化层，两个全连接层和一个softmox层组成的卷积神经网络，具体描述如下：

网络输入层是大小为31*51*1的眼睛灰度图像；第一层卷积核大小为5*5，卷积核步长为1，卷积核个数为32；第一层最大池化层的核大小为3*3，移动步长为2，边缘填充数为1；第二层卷积核大小为5*5，卷积核步长为1，卷积核个数为64个；第二层最大池化层的核大小为2*2，移动步长为2；第一个全连接层的结点数量为128个；第二个全连接层的结点数量为2个；每个卷积层后都经Relu激活函数处理，以增加网络的非线性映射能力；第二层卷积层后还接了一个Dropout层防止过拟合，其比例为0.5；经过softmax层后输出分类结果：睁眼或闭眼。