[发明专利]一种基于多层次特征深度学习的人脸检测方法及系统

权利要求书

1.一种基于多层次特征深度学习的人脸检测方法，其特征在于，包括如下步骤：

(1)获取训练集图像和验证集图像，所述训练集和验证集中图像包括具有光照变化和场景变化的尺寸归一化处理后的人脸图像；

(2)获取训练集图像和验证集图像的标签信息，所述标签信息包括图像中是否包含人脸的分类标签以及包含人脸时图像中人脸位置的右上顶点坐标和左下顶点坐标；

(3)将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练和调优，得到基于深度卷积神经网络的人脸检测模型；所述深度卷积神经网络包括：

第一网络模块，包括至少一个卷积层和池化层，采用3D卷积核对归一化后的训练集和验证集中的彩色图像进行卷积操作，输出若干特征图，用于提取输入图像的第一层次特征；

第二网络模块，包括至少三个级联的卷积层，采用3D卷积核对第一网络模块输出的特征图进行卷积操作，各卷积层输出不同尺度的特征图，用于提取输入图像的第二层次特征；

第三网络模块，包括并联的第一支路和第二支路，所述第一支路包括第一串接层、分类层和至少两个并列的卷积层，用于完成人脸或非人脸的分类任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第一支路的卷积层输出的特征图通过第一串接层进行串接；所述分类层采用Softmax分类器将第一串接层输出的特征列向量全连接到表示输入样本的类别的节点；所述第二支路包括第二串接层、回归层和至少两个并列的卷积层，用于完成人脸位置坐标回归任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第二支路的卷积层输出的特征图通过第二串接层进行串接；所述回归层采用Euclidean回归器将第二串接层输出的特征列向量全连接到表示输入样本人脸位置坐标的节点；

(4)将测试图像输入到训练好的基于深度卷积神经网络的人脸检测模型进行人脸检测，得到人脸检测结果。

2.根据权利要求1所述的基于多层次特征深度学习的人脸检测方法，其特征在于，所述深度卷积神经网络的第一网络模块中各卷积层采用若干k×k×m_a的3D卷积核对输入的图像序列或前一层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，对于第一层卷积层m_a为3，其余卷积层m_a在64、128、256数值中选取，为前一层卷积层采用的卷积核个数；各池化层采用预设尺寸为l×l的滑动窗口对卷积层输出的特征图进行下采样，其中l在1、2数值中选取。

3.根据权利要求1所述的基于多层次特征深度学习的人脸检测方法，其特征在于，所述深度卷积神经网络的第二网络模块中各卷积层采用若干k×k×m_b的3D卷积核对前一层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，m_b在128、256、512数值中选取，为前一层卷积层采用的卷积核个数。

4.根据权利要求1所述的基于多层次特征深度学习的人脸检测方法，其特征在于，所述深度卷积神经网络的第三网络模块中各卷积层采用若干k×k×m_c的3D卷积核对所连接的第二网络模块中相应卷积层输出的特征图序列进行3D卷积操作，其中k在1、3、5、7数值中选取，m_c为所连接的第二网络模块中卷积层采用的卷积核个数，第三网络模块中各卷积层所采用的卷积核的个数为2或4。

5.一种基于多层次特征深度学习的人脸检测系统，其特征在于，包括：

第一获取模块，用于获取训练集图像和验证集图像，所述训练集和验证集中图像包括具有光照变化和场景变化的尺寸归一化处理后的人脸图像；

第二获取模块，用于获取训练集图像和验证集图像的标签信息，所述标签信息包括图像中是否包含人脸的分类标签以及包含人脸时图像中人脸位置的右上顶点坐标和左下顶点坐标；

训练模块，用于将训练集和验证集图像以及相应的标签输入深度卷积神经网络中，对网络进行训练和调优，得到基于深度卷积神经网络的人脸检测模型；

以及检测模块，用于将测试图像输入到基于深度卷积神经网络的人脸检测模型进行人脸检测，得到人脸检测结果；

所述深度卷积神经网络包括：

第一网络模块，包括至少一个卷积层和池化层，采用3D卷积核对归一化后的训练集和验证集中的彩色图像进行卷积操作，输出若干特征图，用于提取输入图像的第一层次特征；

第二网络模块，包括至少三个级联的卷积层，采用3D卷积核对第一网络模块输出的特征图进行卷积操作，各卷积层输出不同尺度的特征图，用于提取输入图像的第二层次特征；

以及，第三网络模块，包括并联的第一支路和第二支路，所述第一支路包括第一串接层、分类层和至少两个并列的卷积层，用于完成人脸或非人脸的分类任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第一支路的卷积层输出的特征图通过第一串接层进行串接；所述分类层采用Softmax分类器将第一串接层输出的特征列向量全连接到表示输入样本的类别的节点；所述第二支路包括第二串接层、回归层和至少两个并列的卷积层，用于完成人脸位置坐标回归任务，其中各个卷积层的输入连接至所述第二网络模块中的不同的卷积层，各第二支路的卷积层输出的特征图通过第二串接层进行串接；所述回归层采用Euclidean回归器将第二串接层输出的特征列向量全连接到表示输入样本人脸位置坐标的节点。