[发明专利]一种基于注意力机制的人脸关键点检测方法

说明书

本发明公开了一种基于注意力机制的人脸关键点检测方法，该方法包括以下步骤：建立面向多分辨率输入的多通道特征提取网络结构；设计一个注意力模块，利用具有沙漏结构的特征融合网络，引入注意力机制，选择与任务相关的关键特征；将注意力模块输出的特征图经过残差模块，输出关键点位置信息。本发明所涉及的面向多分辨率输入的多通道特征提取网络，通过引入中继监督在降低网络深度的同时保证检测精度；本发明所涉及的注意力模块，通过引入注意力机制将特征不断聚焦到感兴趣区域，提高遮挡、大姿态下的人脸关键点检测精度。实验表明该发明可以有效克服大姿态、遮挡给精度带来的影响，解决网络深度与检测速度均衡难题。

技术领域

本发明涉及一种基于注意力机制的人脸关键点检测方法，属于图像处理技术领域。

背景技术

人脸关键点检测也称为人脸关键点定位或者人脸对齐，是指根据给定的人脸图像，标定出人脸的眉毛、眼睛、鼻子、嘴巴以及轮廓区域，在科学研究及实际应用中都受到广泛关注。例如，人脸姿态矫正、姿态识别、表情识别、疲劳监测、嘴型识别、人脸美妆等。现有的公开的常用人脸数据集有很多，例如WFLW(98点)、Helen(194点)、300W(68点)、IBUG(68点)、LFPW(29点)，AFLW(21点)等，可以直接用于人脸关键点检测算法的研究。

考虑到卷积神经网络具有强烈的特征表达能力，目前基于卷积神经网络的人脸关键点检测成为研究热点。基于卷积神经网络的人脸关键点检测任务可解释为一个非线性回归问题，用于学习原图与人脸关键点坐标之间的映射：输入一张RGB三通道的人脸图片，本质是输入一个大小为[W,H,3]的矩阵(其中W,H分别为人脸图片尺寸的宽和高)，输出一个维数为2L的向量[x₁,x₂,...,x_L,y₁,y₂,...,y_L]^T，其中L为关键点总数，(x_i,y_i),i∈{1,…L}为第i个关键点的坐标。人脸关键点的真实值由人工标注，主观性强，当关键点较为稠密时，相邻坐标点的数据将十分接近，直接增加了关键点的定位难度。针对上述困难，目前基于神经网络的关键点检测算法将关键点坐标转化为热力图形式，输出每个关键点的似然区域特征图。上述算法可提高检测精度，但是会相应提高网络的复杂度，影响检测算法的速度。另外，现有算法在遮挡，大姿态人脸关键点检测方面表现不佳。

因此，目前在这些数据集上的人脸特征点检测领域仍然存在以下问题：1)无法有效解决大姿态、遮挡、低分辨率下的人脸关键点检测；2)人脸关键点检测精度与速度不能兼顾。

发明内容

针对上述问题，本发明提供一种基于注意力机制的人脸关键点检测方法，是一种基于卷积神经网络的人脸关键点检测方法，一定程度上克服原始图像遮挡、姿态、低分辨率等问题给精度带来的影响，同时保持算法的实时性要求。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于注意力机制的人脸关键点检测方法，包括如下步骤：

步骤(1)：针对一张原始图片，使用数据集提供的人脸检测框对原始图片中的人脸区域进行剪裁，并归一化为256×256×3px，再对归一化后的图像进行数据增强，得到训练样本；

步骤(2)：针对高分辨率通道，使用ResNet18的conv1_x至conv3_x对训练样本进行特征提取，输出一个大小为128×32×32的特征图F；

步骤(3)：针对低分辨率通道，先将训练样本降采样为64×64×3px，再使用ResNet50的conv1_x至conv3_x对降采样后的训练样本进行特征提取，输出一个低精度的关键点热力图M，大小为L×32×32，其中L为关键点的个数；