[发明专利]一种遮挡鲁棒的人脸关键点定位方法

说明书

本发明公开了一种遮挡鲁棒的人脸关键点定位方法，属于人脸关键点定位领域。该方法步骤如下：S1：收集经过关键点标记的人脸图像作为训练数据集和测试数据集；S2：对于S1中的训练数据集和测试数据集，首先用人脸检测算法MTCNN进行人脸检测和5点关键点定位，然后用普氏分析变换T转正人脸，获得转正后的人脸样本，形成训练样本和测试样本；将转正后的人脸样本作为S3阶段的输入；S3：通过卷积网络对S2中的训练样本进行学习；S4：卷积网络完成S3的训练后，将S2中的测试样本输入该卷积网络中，获得图像中人脸关键点的位置。本发明对遮挡情况下的人脸关键点定位具有鲁棒性，测试结果和对应图片的定性定位结果也证明了本发明方法的有效性。

技术领域

本发明属于人脸关键点定位领域，具体涉及一种遮挡鲁棒的人脸关键点定位方法。

背景技术

人脸关键点定位技术是基于人脸图像，首先对输入的人脸图像或者视频流，检测是否存在人脸，如果存在人脸，则进一步给出每个脸的位置和关键点的位置，比如鼻子，眼睛，嘴巴等面部主要器官的位置。这项技术可用于人脸姿态矫正、姿态识别、疲劳监测，人脸三维重建，人脸动画，人脸识别、表情分析等等。错误的关键点定位会导致人脸失真变形，因此能够准确提取人脸关键点的算法非常重要。整个过程包括人脸检测，人脸预处理，人脸关键点定位等模块。

目前人脸关键点定位算法主要分为三种，分别是基于生成模型的ASM、AAM及其延伸和扩展、基于级联形状回归的方法和基于深度学习的方法。其中研究最广的是基于深度学习的方法，因此本发明主要针对深度学习在人脸关键点定位上的应用。

目前的人脸关键点定位算法存在的问题包括：

1.训练数据的获取与提纯。在深度学习模型的训练过程中，依赖大量有效的人脸样本来提升人脸关键点定位的精度。理论上训练数据越丰富，训练好的模型泛化能力越强。

2.深度学习网络模型的设计。网络模型是影响关键点定位精度的关键因素之一。网络设计越合理，能提取的特征越丰富，往往最后的定位精度也越高。因此我们需要对网络结构进行合理设计和优化。

3.训练损失函数的选择。损失函数对网络的训练至关重要，好的损失函数能够引导网络进行合理的优化，而针对具体的任务设计对应的损失函数也是解决问题的关键。

尽管中等姿态下人脸关键点定位已经有很多相对成熟的算法，但是遮挡下的人脸关键点定位仍然还有比较大的提升空间。针对上面三个存在的问题，本发明公开一种遮挡鲁棒的人脸关键点定位的方法，通过设计一种级联神经网络框架，通过利用关键点之间的形状约束和邻近区域的语义信息来定位被遮挡的关键点。

发明内容

本发明的目的在于解决现有技术中存在的问题，并提供一种遮挡鲁棒的人脸关键点定位方法。

本发明所采用的具体技术方案如下：

一种遮挡鲁棒的人脸关键点定位方法，其包括以下步骤：

S1：收集经过关键点标记的人脸图像作为训练数据集和测试数据集；

S2：对于S1中的训练数据集和测试数据集，首先用人脸检测算法MTCNN进行人脸检测和5点关键点定位，然后用普氏分析变换T转正人脸，形成训练样本和测试样本；将转正后的人脸样本作为S3阶段的输入；

S3：通过卷积网络对S2中的训练样本进行学习，具体步骤为：

S31：读取训练样本中人脸图像和对应的关键点位置，每幅输入的人脸图归一化为3通道，高度为224像素，宽度为224像素；

S32：读取的人脸图像采用卷积神经网络提取特征，经过卷积、BN和relu激活，并结合最大池化层进行下采样，提取28×28×A的多通道特征图，A为特征图中通道数量；