[发明专利]一种遮挡鲁棒的人脸关键点定位方法

摘要

本发明公开了一种遮挡鲁棒的人脸关键点定位方法，属于人脸关键点定位领域。该方法步骤如下：S1：收集经过关键点标记的人脸图像作为训练数据集和测试数据集；S2：对于S1中的训练数据集和测试数据集，首先用人脸检测算法MTCNN进行人脸检测和5点关键点定位，然后用普氏分析变换T转正人脸，获得转正后的人脸样本，形成训练样本和测试样本；将转正后的人脸样本作为S3阶段的输入；S3：通过卷积网络对S2中的训练样本进行学习；S4：卷积网络完成S3的训练后，将S2中的测试样本输入该卷积网络中，获得图像中人脸关键点的位置。本发明对遮挡情况下的人脸关键点定位具有鲁棒性，测试结果和对应图片的定性定位结果也证明了本发明方法的有效性。

主权项

1.一种遮挡鲁棒的人脸关键点定位方法，其特征在于，包括以下步骤：S1：收集经过关键点标记的人脸图像作为训练数据集和测试数据集；S2：对于S1中的训练数据集和测试数据集，首先用人脸检测算法MTCNN进行人脸检测和5点关键点定位，然后用普氏分析变换T转正人脸，形成训练样本和测试样本；将转正后的人脸样本作为S3阶段的输入；S3：通过卷积网络对S2中的训练样本进行学习，具体步骤为：S31：读取训练样本中人脸图像和对应的关键点位置，每幅输入的人脸图归一化为3通道，高度为224像素，宽度为224像素；S32：读取的人脸图像采用卷积神经网络提取特征，经过卷积、BN和relu激活，并结合最大池化层进行下采样，提取28×28×A的多通道特征图，A为特征图中通道数量；S33：提取的多通道特征图进行粗定位，粗定位时用不同大小的卷积核与多通道特征图进行卷积，并采用逐像素交叉熵损失函数对可见的人脸关键点进行监督，获得C张28×28的关键点热图，其中C表示可见的人脸关键点个数；所述逐像素交叉熵损失函数的表达式如下：其中N是可见的人脸关键点个数，代表的是第i个可见人脸关键点热图上像素点(x,y)处的像素真值；是对网络输出的第i个关键点热图上(x,y)处像素值先进行sigmoid激活之后的值；S34：将S33中粗定位获得的关键点热图和S32中提取的多通道特征图和按通道方向融合在一起，得到第一融合特征图，进行精定位；精定位时用不同大小的卷积核与第一融合特征图进行卷积，并采用关键点热度图上对应位置像素值的L2损失函数，对人脸关键点进行监督，获得K+1张28×28的关键点热图，其中K为所有可见与不可见的人脸关键点个数；所述L2损失函数的表达式如下：其中，是网络预测输出的第i张人脸关键点热度图，是第i张根据人脸关键点真值生成的热度图，i∈[1,2,…,K]；是网络预测输出的背景区域热度图，是根据背景区域真值生成的热度图；(x,y)代表热度图上像素点的位置；S35：将S32中提取的多通道特征图和S34中精定位获得的关键点热图按通道方向融合在一起，得到第二融合特征图；首先通过一个point‑wise卷积对第二融合特征图的通道信息进行融合，然后经过两个卷积和池化层，获得7×7的特征图，然后经过两个全连接层获得K个关键点2×K维的特征向量ΔS；将ΔS与S34中精定位获得的人脸关键点位置相加，与人脸关键点真值进行残差计算，采用的损失函数为二元坐标L2损失并引入新的损失项，损失函数形式如下：其中S^gt是人脸关键点真值位置二元坐标向量，是S34中精定位获得的人脸关键点位置，D_box是人脸框的对角线长度，用作损失函数的归一化因子；θ是预测的临近关键点构成的线段和对应的临近关键点真值构成的线段之间的夹角；夹角θ定义如下：其中和代表S35中预测的中两个相邻人脸关键点的位置，和代表两个对应相邻人脸关键点的ground truth位置，由这四个点构成的两条线段的夹角θ；S36：将S35中获得的转正人脸上的关键点位置，按照S2中转正人脸变换的反变换，获得原图像上的人脸关键点位置S_final，反变换过程如下：S_final＝T^‑1(S₃)其中S₃是S35中获得的转正人脸上的关键点位置，T^‑1是普氏分析变换T对应的反变换矩阵；S4：卷积网络完成S3的训练后，将S2中的测试样本输入该卷积网络中，获得图像中人脸关键点的位置。