[发明专利]一种基于级联神经网络的人脸关键点检测方法

说明书

技术领域

本发明属于数字图像处理及人脸识别技术领域，具体涉及一种基于级联神经网络的人脸关键点检测方法。

背景技术

人脸关键点检测（facial landmark detection），即给定一张人脸图片，要从中准确定位出一系列关键点（如瞳孔，眼角，眉角，嘴角，唇沿等等）的位置。人脸关键点检测作为人脸对齐前最重要的一步，它将很大程度影响到人脸识别/分析/搜索系统的整体性能。

传统的人脸关键点检测算法主要可以分为两类：第一类将每个关键点作为独立的部分，每一个关键点根据其局部特征单独训练检测器；第二类将所有关键点放在一起训练，重点考虑关键点之间的相对位置关系，最后得到一个全局最优解。然而在实际应用中，这两类算法都有着自己极大的缺陷：1）对第一类算法，由于每个关键点被单独检测，人脸的全局几何信息被完全忽略了，这使得其对细微扰动非常敏感，对光照变化、姿态变化等都不够鲁邦。此外，该算法的时间复杂程度和关键点的个数成正比，待检测的关键点越多，所需的检测器就越多，这使得其在较密（60点+）关键点的应用中很难实施；2）而对第二类算法，由于人脸不同关键点的检测难度不同（例如，眼睛附近的关键点要远比人脸轮廓上的关键点简单，因为眼睛附近特征明显且不易受姿态变化影响），用一个模型去求解所有关键点的位置往往会得出一个折中的结果，即那些比较容易的关键点被比较难的点所“拖累”，而其实它们单独做本可以做的更好。同时，这类算法使用了大量的冗余信息，就像用嘴和鼻子附近的特征去检测眼睛的关键点，这其实浪费了许多计算资源。

发明内容

本发明针对上述问题，提供一种基于级联神经网络的人脸关键点检测方法，能够有效地提高人脸关键点检测，尤其是密集人脸关键点检测的准确性和实时性。

为实现上述目的，本发明采用的技术方案如下：

一种基于级联神经网络的人脸关键点检测方法，其步骤包括：

a)建立训练用人脸图像集，对其中每一张人脸标注需要检测的关键点位置；

b)构建第一层深度神经网络并训练人脸区域估计模型，此模型中任一张人脸被分为内脸区域与外脸区域两部分；

c)构建第二层深度神经网络，对步骤b)中输出的内脸区域和外脸区域分别做独立的人脸关键点初步检测；

d)根据步骤c)的初步检测结果，对内脸区域继续做局部区域划分；

e)对步骤d)得到的每个局部区域分别构建第三层深度神经网络，用来训练针对该局部区域的人脸关键点检测器；

f)根据步骤e)的人脸关键点检测器的关键点输出结果，对每个局部区域估计其旋转角度；

g)将每个局部区域按照其估计的旋转角度做矫正，将矫正的图片收集作为新的训练集合；

h)对步骤g)中生成的每个局部区域的矫正数据集构建第四层深度神经网络，用来训练人脸关键点检测器；

i)任给一张新的人脸图像，采用经过上述步骤生成的四层深度神经网络模型进行关键点检测，并将最终生成的内脸区域、外脸区域、及各个局部区域的关键点结合输出，即为最终人脸关键点检测结果。

进一步地，步骤b）所述内脸区域包括眉、眼、鼻、嘴，所述外脸区域包括完整人脸轮廓；步骤d）对内脸区域做局部区域划分时，划分成为眉、眼、鼻、嘴四个局部区域。

进一步地，每一层深度神经网络内部由三部分组成：卷积层，最大采样层及全连接层，对输入图像做多轮的卷积和采样，最终经过全连接层输出人脸区域或人脸关键点的坐标。

进一步地，步骤f)对每个局部区域采用最小二乘法估计其旋转角度：

M=argminΣXi||X′i-MXi||]]>

其中M为旋转矩阵，X’_i为对正模版的关键点坐标，X_i为步骤e)中获得的关键点坐标。

进一步地，步骤g)将每个局部区域按照其估计的旋转角度做矫正的方法为：