[发明专利]基于五官掩膜约束的密集人脸检测方法及系统和存储介质

说明书

一种基于五官掩膜约束的密集人脸检测方法及系统和存储介质，收集训练数据集并进行预处理，生成五官语义信息掩膜；根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络；采用迁移学习方法对含有五官语义信息掩膜约束的人脸检测网络进行训练，得到最优检测模型；采用最优检测模型检测密集人脸图像。本发明采用基于五官语义信息掩膜约束的密集人脸检测方法，根据5点标注提供的五官特征生成掩膜约束，有效提升了对于密集人脸的检测性能。本发明对于人脸密集分布时的人脸图像能起到较好的检测效果，对于遮挡、俯仰、偏转、肤色等复杂情况也都有较强的算法鲁棒性。本发明在安防、人流量控制、自动驾驶、智慧城市等领域都有广泛的应用前景。

技术领域

本发明属于人脸检测技术领域，涉及一种基于五官掩膜约束的密集人脸检测方法及系统和存储介质。

背景技术

目前，人脸识别算法已经得到了广泛的应用，早期的人脸检测算法使用模板匹配技术，此后机器学习算法被用于该问题，包括神经网络，支持向量机等。以上都是针对图像中某个区域进行人脸-非人脸的二分类判别。卷积神经网络和深度学习方法在图像分类问题上取得成功之后也很快推动了人脸检测方法的发展，例如Cascade CNN，DenseBox，Faceness-Net，MTCNN等方法，在人脸检测任务中取得了优于传统机器学习算法的效果。

但是由于两方面原因，人脸检测一直是一个复杂的模式识别问题，其主要的难点有两方面，一方面是由于人脸具有相当复杂的细节变化，不同的外貌如脸形、肤色等，不同的表情如眼、嘴的开与闭等，以及人脸的遮挡，如眼镜、头发和头部饰物以及其他外部物体等。另外一方面由于成像角度的不同造成人脸的多姿态，如平面内旋转、深度旋转以及上下旋转，以及光照的影响，如图像中的亮度、对比度的变化和阴影等，还有图像的成像条件，如摄像设备的焦距、成像距离，图像获得的途径等等。这些问题在密集分布的人脸图像中体现会更加明显，因为密集分布的人脸像素占比少，特征有限，样本分布不均衡，因此密集人脸检测问题对监督约束信息的丰富提出了更高的要求。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于五官掩膜约束的密集人脸检测方法及系统和存储介质。

为实现上述目的，本发明采用的技术方案如下：

一种基于五官掩膜约束的密集人脸检测方法，包括以下步骤：

步骤1：收集训练数据集并进行预处理，生成五官语义信息掩膜；

步骤2：根据训练目标构建含有五官语义信息掩膜约束的人脸检测网络；

步骤3：采用迁移学习方法对含有五官语义信息掩膜约束的人脸检测网络进行训练，得到最优检测模型；

步骤4：采用最优检测模型检测密集人脸图像。

本发明进一步的改进在于，步骤1中，训练数据集采用网络开源的大规模5点人脸标注数据集，数据集包含超过30000张图像，以及400000个人脸，选择40％作为训练集，10％作为验证集，50％作为测试集。

本发明进一步的改进在于，步骤1的具体过程包括：

步骤1.1：对数据集中的每张图像按照人脸面部部件解析5点关键点标注，人脸5点特征信息分别对应右眼、左眼、鼻尖、右嘴角和左嘴角；

步骤1.2：根据解析得到的5点人脸标注，将人脸5点特征信息分成上半部分人脸区域与下半部分人脸区域，根据上半部分人脸区域、下半部分人脸区域与5点特征信息的对应关系，生成五官语义信息掩膜。

本发明进一步的改进在于，上半部分人脸区域、下半部分人脸区域与5点特征信息的对应关系为：

上半部分人脸对应右眼-左眼-鼻尖倒三角区域，下半部分人脸对应右嘴角-左嘴角-鼻尖正三角区域。