[发明专利]一种基于双层级联回归模型的人脸特征点定位方法

说明书

本发明公开了一种基于双层级联回归模型的人脸特征点定位方法并将其应用在人脸特征点定位中，在一定程度上提高了人脸特征点定位的准确性，该模型的第一层用于定位包含了部分关键特征点的简化人脸形状，为了增强人脸特征点定位方法的鲁棒性，还利用融合子空间进行样本划分，每部分样本单独训练特征提取模型和回归器；第二层用于定位完整的人脸形状，将第一层模型的回归结果进行3D拟合，得到粗略对齐的完整人脸形状，以该形状为基础实现更精细的回归。实验证明，本发明提出的模型在姿态变化较大的300‑W挑战集上，相较单层的级联回归模型，性能提升了23.55％，具有一定的姿态鲁棒性。

技术领域

本发明涉及计算机图像处理技术领域，尤其涉及一种基于双层级联回归模型的人脸特征点定位方法。

背景技术

人脸特征点定位的目标是在完成人脸检测的基础上，定位出更具体的人脸形状，如眉毛、眼睛、鼻子、嘴巴和轮廓等。人脸特征点定位是人脸图像处理任务中的重要环节，对于后续的人脸识别、人脸表情分析和3D人脸重建等工作都起到了至关重要的作用。目前的大部分人脸特征点定位算法已经可以在正面人脸图像上获得令人满意的效果，但对于表情和姿态变化巨大的无约束人脸图像，实现高精度的人脸特征点定位仍具有挑战性。

人脸特征点定位的相关算法主要可以分为两个类别：(1)基于生成模型的方法。代表性算法有Cootes等提出的主动外观模型(active appearance model,AAM)，首先利用主成分分析(PCA)在形状和纹理特征空间构建参数模型，再通过优化参数，实现模型与人脸图像的匹配。尽管此类型的方法已经获得了各种改进，但参数模型的表达能力终归有限，无法处理细微的形状变化。(2)基于判别模型的方法。此类方法的目标是从提取的图像特征直接映射到人脸特征点坐标。级联回归模型是目前人脸特征点定位领域应用最广泛的模型，最早出现在Dollár等提出的级联姿态回归法(cascade pose regression,CPR)。基于级联回归的算法将人脸特征点定位视为解决图像纹理特征与人脸形状之间的非线性优化问题，通过学习一系列特征到形状的映射，来逐渐将初始形状更新为最终形状。近年来除了级联回归模型，基于深度网络的方法也得到了广泛的关注。最早将深度网络应用于人脸特征点定位的是Sun等提出的基于深度卷积神经网络(DCNN)的人脸特征点定位算法，也采用级联的方式实现从粗到精的定位。近些年也出现了利用3D人脸模型实现人脸特征点定位的算法。此类方法通过调整参数使模型与人脸图像拟合，再将拟合结果投影至2D平面以获得定位结果。由于3D人脸模型的参数较多，此类算法大多也需要借助深度网络。尽管深度网络的加入使得人脸特征点定位算法的性能得到大幅度的提升，目前依旧有许多优秀的基于级联回归的算法涌现，在拥有相对较低的训练成本的基础上，在某些情况下还具有超越基于深度学习的算法的性能。

形状初始化是基于级联回归的人脸特征点定位算法的第一步，许多传统的级联回归算法以训练集中所有样本真实形状的平均值，或者是一张正面中性的人脸形状作为初始形状，接着以初始形状为基础，通过多次迭代更新达到最终的预测结果。在使用这种初始形状时，通常是姿态和表情变化较大的人脸难以实现准确的定位，这是因为初始形状与真实形状相差较大时，级联回归模型可能会由于迭代次数有限，或者陷入局部最优，导致最终结果不理想。Xiong等人提出将样本按照同质下降域(domains of homogeneous descent,DHD)进行划分，再分别建立回归模型，避免回归进入局部最优，但他们提出的划分方法在实际计算时要用到样本的真实人脸形状，这在测试过程中并不现实。由粗到精的形状搜索(coarse-to-fine shape searching,CFSS)将所有样本的真实形状作为解空间来探索，虽然解决了初始形状的限制，但也降低了运算速率。

发明内容

本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。

鉴于上述现有存在的问题，提出了本发明。