[发明专利]一种从粗到精的人脸关键点检测方法

权利要求书

1.一种从粗到精的人脸关键点检测方法，其特征在于：所述方法包括如下步骤：

步骤1、设置一套人脸关键点，即用132个关键点来表示整个脸部，其中人脸轮廓部分包括33个关键点，眉毛部分包括22个关键点，眼睛部分34个关键点，鼻子部分包括15个关键点，嘴巴部分包括28个关键点；

步骤2、收集一批未标注的人脸照片作为样本，通过所述人脸关键点对这批样本进行关键点标注；

步骤3、网络构建，即搭建一个全卷积的神经网络来进行回归关键点热图；

步骤4、使用神经网络结构训练一整体粗糙模型、局部精确眉毛模型、局部精确眼睛模型、局部精确鼻子模型、以及局部精确嘴巴模型，该整体粗糙模型能回归整张脸共132个关键点的模型，所述局部精确眉毛模型、局部精确眼睛模型、局部精确鼻子模型、局部精确嘴巴模型分别专注于检测眉毛、眼睛、鼻子、嘴巴四个人脸五官关键点；训练样本采用所述人脸照片的样本；

步骤5、检测时，输入照片，通过整体粗糙模型对输入照片进行预测，得到粗糙的132个关键点，根据这些粗糙132个关键点裁剪出左眉毛、右眉毛、左眼睛、右眼睛、鼻子、嘴巴五官部件，将这些五官部件分别送入对应的局部精确模型中，能得到精确的局部五官关键点将四个局部精确模型中检测到的眉毛、眼睛、鼻子、嘴巴关键点与整体粗糙模型检测出的轮廓关键点合并起来，就得到了精确的人脸132关键点；

所述步骤3中网络构建进一步具体为：输入人脸照片图像，转化为张量后尺寸为(256,256,3)，分别代表(宽,高,通道)；全卷积的神经网络中模块A代表尺寸＝3×3,步长＝2，padding＝1的二维卷积，包含64个卷积核，最终输出的张量尺寸为(128,128,64)；全卷积的神经网络中模块B代表一个残差模块，输出的张量尺寸为(128,128,128)；模块C是一个尺寸＝2×2，步长＝2的均值池化，输出的张量尺寸为(64,64,128)；模块D是与模块B具有相同结构的残差模块，输出的张量尺寸为(64,64,128)；模块E是与模块B、D具有相同结构的残差模块，输出的张量尺寸为(64,64,256)；模块F是一个Hourglass模块，它由多个下采样层和上采样层组成，能够很好地提取全尺寸特征，输出的张量尺寸为(64,64,256)；模块G是一个尺寸为3×3，步长＝1，padding＝1的二维卷积，包含256个卷积核，输出张量的尺寸为(64,64,256)；模块H是一个与模块G具有相同结构的卷积层，输出张量的尺寸为(64,64,256)；模块I是一个尺寸为1×1，步长stride＝1,padding＝1的二维卷积，卷积核的数量等于待检测的关键点数量，输出张量的尺寸是(64,64,待检测的关键点数量num_keypoints)；最终，对输出张量上每个像素点进行sigmoid函数激活，将输出限制在0-1之内，即可得到热图集合；

神经网络中使用到的所有卷积层在激活函数之前都进行了批量归一化操作，并且所有卷积层的激活函数都使用ReLU激活函数。

2.根据权利要求1所述的一种从粗到精的人脸关键点检测方法，其特征在于：所述步骤2中收集的人脸照片样本后先进行眉毛处理，由于化妆的原因，眉毛实际上能够呈现出非常多的姿态，为了使关键点检测方法能够兼容各种类型的眉毛，收集了一批特殊眉形的人脸照片样本，这些特殊眉形包括：八字眉、刀眉、短粗眉、飞剑眉、尖刀眉、开尾眉、山黛眉、以及长虹眉；在眉毛标注过程中要求眉头使用2点来表示，眉尾使用1点来表示，同时在眉形转折处必须有点；在训练局部精确眉毛模型时，需要将局部五官进行裁剪，每个人脸上有2个眉毛，则从每个样本中裁剪出2个眉毛样本，为了保证两个眉毛的关键点序一致，将右眉统一水平翻转，并相应地调整了样本中的关键点序。

3.根据权利要求2所述的一种从粗到精的人脸关键点检测方法，其特征在于：所述收集到的人脸照片样本中对眼睛进行与眉毛相同的处理，即每个人脸照片中都包含两个眼睛，在训练局部精确眼睛模型时，将每只眼睛单独裁下，每个人脸上有2个眼睛，为了保证两个眼睛关键点序一致，统一将右眼水平翻转，并相应地调整了样本中的关键点序。