[发明专利]一种人脸姿态校正方法及装置

说明书

本发明公开了一种人脸姿态校正方法及装置。该方法中，在获取到人脸图像和人脸图像对应的3D人脸数据后，确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；根据所述掩膜图像确定所述人脸图像中人脸的对称权重；根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。由于法线方向可以反映人脸是否被遮挡的情况，因此，在对人脸图像进行校正时考虑了图像中的人脸是否被遮挡的情况，使得校正后的效果更加准确，且在进行校正时考虑了人脸的对称信息，使得校正后的效果更加准确、具有个性化。

技术领域

本发明涉及图像处理领域，尤其涉及一种人脸姿态校正方法及装置。

背景技术

人脸识别是模式识别研究领域的重要课题，也是一个目前非常活跃的研究方向。它在安全、商贸和经济领域都有广阔的应用前景，例如刑侦破案、证件验证、视频监控、媒体娱乐等诸多领域。

利用三维人脸数据对人脸图像进行校正，能够获得较好的校正效果，目前存在以下几种方法：

1、基于双目摄像头或深度摄像头获取的图像来进行人脸校正，或者对多幅多视角人脸图像、甚至正交人脸图像来进行人脸校正，但该方法成本较高，很难推广。

2、一种基于自适应形变模型的任意视角人脸三维重构方法，利用人脸特征点定位结果粗略估计人脸角度；建立人脸三维形变模型，并将人脸特征点通过平移、缩放操作调整到与人脸三维形变模型在同一尺度上，并抽取出与人脸特征点对应点的坐标信息形成人脸特征点三维形变模型；根据人脸角度粗略估计值和人脸特征点三维形变模型，进行微粒群算法迭代人脸三维重构，得到人脸三维几何模型；得到人脸三维几何模型后，采用纹理张贴的方法将输入二维图像中的人脸纹理信息映射到人脸三维几何模型，得到完整的人脸三维模型。然而，该方法估计投影矩阵的精度不高，且没有对多姿态人脸是否遮挡的判断以及相应地处理。

3、一种三维人脸重建方法：确定人脸图像上的特征点；依据特征点确定人脸的姿态参数，并按照姿态参数调整通用三维人脸模型的姿态；确定特征点在通用三维人脸模型上的对应点，并对处于遮挡状态下的对应点进行调整，以得到初步三维人脸模型；对初步三维人脸模型进行变形调整，并对变形后的三维人脸模型进行纹理映射，得到最终的三维人脸。然而，在该方法中，特征点包含外部人脸轮廓，但是外部人脸轮廓在侧脸的是情况下会发生遮挡，导致姿态估计的错误。

4、一种基于先验模型的正面人脸图像合成方法：对三维原型样本库进行样本规范化得到三维人脸样本库，标定测试人脸图像的特征点；求取平均三维人脸模型，通过其上的特征点投影后与测试人脸图像标定的特征点建立对应关系求得测试人脸图像的姿态角度；从三维人脸样本库中筛选出与测试人脸图像相似性较大的图像构建原型样本库；合成正面人脸图像。然而，在该方法中，建立三维人脸模型的时候将形状模型和纹理模型分开建模，在合成正面人脸时，利用先验模型，用三维人脸原型样本库中人脸估计，样本会趋于平均，尤其是纹理方面忽略了光照阴影等因素。

因此，对人脸进行校正的效果还有待提高。

发明内容

本发明实施例提供了一种人脸姿态校正方法及装置，用以实现对人脸图像进行校正。

本发明实施例提供的人脸姿态校正方法，包括：

获取人脸图像，以及所述人脸图像对应的3D人脸数据；

确定在所述3D人脸数据中与所述人脸图像中的像素点对应的点；

根据所述3D人脸数据中与所述人脸图像中像素点对应的点的法线方向，获得所述人脸图像的法线方向掩膜图像；

根据所述掩膜图像确定所述人脸图像中人脸的对称权重；

根据所述对称权重，对所述人脸图像中的人脸姿态进行校正。