[发明专利]一种从粗到精的人脸关键点检测方法

说明书

本发明提供了一种从粗到精的人脸关键点检测方法，该方法为：步骤1、设置一套人脸关键点，即用132个关键点来表示整个脸部，步骤2、收集一批未标注的人脸照片作为样本；步骤3、网络构建，即搭建一个全卷积的神经网络来进行回归关键点热图；步骤4、使用神经网络结构训练一整体粗糙模型、局部精确眉毛模型、局部精确眼睛模型、局部精确鼻子模型、局部精确嘴巴模型，步骤5、输入照片，通过整体粗糙模型得到粗糙的132个关键点，并得到精确的局部五官关键点将四个局部精确模型中检测到的眉毛、眼睛、鼻子、嘴巴关键点与整体粗糙模型检测出的轮廓关键点合并起来，就得到了精确的人脸132关键点。提升了关键点检测的精度，针对局部五官的优化效果明显。

技术领域

本发明涉及人脸识别技术领域，特别是一种从粗到精的人脸关键点检测方法。

背景技术

人脸关键点检测指的是输入二维人脸照片，定位出照片中人脸上的具有特定语义的关键点坐标。常见的人脸关键点包括：人脸外部轮廓关键点、眉毛轮廓关键点、眼睛轮廓关键点、鼻子轮廓关键点、嘴巴轮廓关键点等。图1给出了几种常见的人脸关键点示例图。

图1：(a)AR人脸数据集发布于1998年，包含22个人脸关键点。(b)XM2VTS人脸数据集发布于1999年，包含68个人脸关键点(c)FRGC-V2人脸数据集发布于2005年，包含5个人脸关键点。(d)AFLW人脸数据集发布于2011年，包含21个人脸关键点。(e)AFW人脸数据集发布于2013年，包含6个人脸关键点。(f)IBUG人脸数据集发布于2013年，68个关键点。

人脸关键点检测是许多人脸相关应用的基础，例如：人脸识别、三维人脸重建、人脸美妆、换脸、表情迁移等。近年来，随着深度学习的发展，卷积神经网络的特征提取能力已经取得有目共睹的成绩。而基于卷积神经网络的热图回归方法已经成为了解决人脸关键点检测问题的主流方法，并且效果相对传统的坐标回归方法有了显著的提升。

热图回归指的是根据输入图像，使用卷积提取特征，再使用反卷积等上采样操作将特征图还原到与输入图像同样尺寸，最终每个关键点输出一张热图。热图本质上是一个二维数值矩阵，各像素的值被限制在0到1之间，该矩阵大部分位置数值都为0，只有关键点对应位置周围存在数值，且关键点对应位置的数值为最大。每张热图都代表了某个预先定义的关键点，热图上数值最大的值所在的像素坐标即为该关键点在原图上的坐标。

热图回归相较于直接回归坐标值更能引入空间上的局部特征，已经得到业界的普遍认可。在训练卷积神经网络时，输入图像的尺寸往往是固定的，而且不会太大。绝大部分目前常用的网络结构对于输入图像的尺寸都要求在300×300以内。过大的输入图像往往意味着需要增加网络的深度，这对网络的训练难度、对训练样本数量的要求都会大大增加。因此，本专利通常会将大尺寸的原始图片样本，进行裁剪、缩放到统一尺寸。在输入图像尺寸较小的条件下回归关键点，那么势必会存在脸部局部细节的识别误差。例如：眼角、嘴角等部位。当这些关键点坐标还原到大尺寸的原图上时，这些误差就会被放大。这也是本文提出的从粗到精的关键点检测方法着力解决的难题。

在人脸数据集方面，得益于开源观念的普及，目前市面上存在许多开源的人脸关键点数据集。如果是做研究，使用这些开源数据集即可。然而，如果是企业实际运用过程中就会发现，这些开源数据集存在几个问题。

1.存在多种关键点规范。不同数据集往往采用不同的关键点规范，难以同时使用。

2.多数数据集中人脸关键点的数量不足。例如IBUG数据集中定义的人脸68个关键点，其眉毛部分的关键点仅围绕着眉毛的上边缘，而下边缘并没有关键点；鼻翼部分也是非常重要的人脸特征，同样缺少关键点来表示该特征；而作为人脸重要特征的眼睛、人脸轮廓部分的关键点略显稀疏，表达人脸特征的能力有限。

3.多数数据集中的人脸为欧美人种，与本专利的实际运用场景不符，这也是影响模型准确度的一个关键因素。

发明内容