[发明专利]生成用于训练人脸对齐模型的数据集的方法

说明书

本发明公开了一种生成用于训练人脸对齐模型的数据集的方法，适于在计算设备中执行。该方法包括：将人脸图像及其对应的第一特征点输入训练好的三维人脸重建模型中，以输出对应的三维人脸形状；将第一特征点映射到对应的三维人脸形状中并将三维人脸形状进行旋转，得到三维特征点坐标；以及将三维特征点坐标映射到二维人脸图像中，以得到包含第二特征点的人脸图像作为生成的数据集。该方案能够较好地解决极端姿态下人脸对齐的问题。

技术领域

本发明涉及人脸对齐技术领域，尤其涉及一种生成用于训练人脸对齐模型的数据集的方法、人脸对齐方法、计算设备及存储介质。

背景技术

现有的人脸特征点检测方法主要是基于二维人脸形状建模的，然而存在以下几个问题：1)在人脸姿态不是很大的情况下，通过改变人脸轮廓特征点语义位置来解决自遮挡的问题会导致不同姿态下检测的特征点语义信息不一致；2)在大角度姿态下的人脸图像，由于人脸区域近一半自遮挡，遮挡区域的纹理特征信息完全丢失，则导致特征点检测失败。

为了解决上述问题，通常使用三维形变模型拟合到二维人脸图像中的方法实现。但是仍然存在以下问题：1)不同姿态下的特征点语义信息不一致，难以确定三维形变模型中对应的点；2)三维形变模型采用主成分分析方法构建统计模型，而主成分分析方法本质上是一种低通滤波，这种方法对人脸细节特征识别方面效果仍不理想，常常会出现五官凹陷和定位不准确等问题，导致无法构建合适的数据集对人脸对齐模型进行训练。

因此，需要一种生成用于训练人脸对齐模型的数据集的方法，能够较好地解决极端姿态下人脸对齐的问题。

发明内容

为此，本发明提供了一种生成用于训练人脸对齐模型的数据集的方法、人脸对齐方法、计算设备及存储介质，以力图解决或者至少缓解上面存在的至少一个问题。

根据本发明的一个方面，提供了一种生成用于训练人脸对齐模型的数据集的方法，该方法适于在计算设备中执行。首先，将人脸图像及其对应的第一特征点输入训练好的三维人脸重建模型中，以输出对应的三维人脸形状。然后，将第一特征点映射到对应的三维人脸形状中并将三维人脸形状进行旋转，得到三维特征点坐标。最后，将三维特征点坐标映射到二维人脸图像中，以得到包含第二特征点坐标的人脸图像作为生成的数据集。

可选地，在上述方法中，第一特征点为无遮挡人脸图像的特征点，第二特征点为有遮挡人脸图像的特征点。

可选地，在上述方法中，可以首先将包含第一特征点的人脸图像输入三维人脸重建模型中，以得到三维人脸形状。然后，基于三维形变模型将三维人脸形状映射到二维图像中，得到对应的映射图。最后，基于映射图与对应的输入图像之间的差异，调整三维人脸重建模型的参数，以得到训练后的三维人脸重建模型。

可选地，在上述方法中，三维人脸重建模型的参数包括人脸形状参数、投影参数和光照参数。

可选地，在上述方法中，首先基于坐标变换函数gluUnProject()，得到映射矩阵。然后基于旋转变换函数cvRodrigues2，得到旋转矩阵。最后结合映射矩阵和旋转矩阵，得到三维人脸坐标。

根据本发明另一个方面，提供了一种人脸对齐方法，该方法可以在计算设备中执行，首先基于上述生成用于训练人脸对齐模型的数据集的方法生成的数据集训练人脸对齐模型，得到训练后的人脸对齐模型。然后将有遮挡的人脸图像输入训练后的人脸对齐模型中，以输出对应的特征点坐标。

可选地，在上述方法中，基于第二特征点与预测特征点之间的偏移量，调整人脸对齐模型的权重参数，以得到训练后的人脸对齐模型。

可选地，在上述方法中，有遮挡的人脸图像包括自遮挡的人脸图像、光线遮挡的人脸图像和实物遮挡的人脸图像中任意一种。