[发明专利]基于遮挡图像生成三维人脸图像方法、装置及电子设备

说明书

本发明实施例提供一种基于遮挡图像生成三维人脸图像方法、装置及电子设备，所述方法包括：识别图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，所述第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像。通过上述方法、装置及电子设备，不仅解决了由于自遮挡造成特征点不可见导致的特征点识别定位、三维人脸图像生成困难的问题，而且进一步提升了三维人脸图像生成的效果，提高了匹配程度。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于遮挡图像生成三维人脸图像方法、装置及电子设备。

背景技术

三维人脸重建在医疗、教育、娱乐等领域目前已经得到了非常广泛的应用。现有的三维人脸图像生成方法大部分是基于二维人脸特征点的检测以及三维人脸形状建模得到的。然而，发明人在实现本发明的过程中发现，对于旋转姿态较大的二维人脸图像，尤其是偏转方向超过60度以后，人脸区域存在近一半自遮挡，遮挡区域的纹理特征信息完全缺失，导致特征点检测失败，以及三维人脸图像与二维人脸不匹配。

此外，便携电子设备出于娱乐的目的越来越多使用三维人脸重建技术，获取二维人脸图像主要通过电子设备的摄像头，而后期三维人脸图像的重建效果部分取决于前期摄像装置获取图像的质量，而获取图像质量又部分的取决于拍摄时对抖动的处理效果，目前的便携式电子设备主要通过软件进行防抖处理，硬件并未有针对性的改进。

发明内容

本发明实施例提供的基于遮挡图像生成三维人脸图像方法、装置及电子设备，用以至少解决相关技术中的上述问题。

本发明实施例一方面提供了一种基于遮挡图像生成三维人脸图像方法，包括：识别获取的图片中的目标人脸图像，判断所述目标人脸的旋转角度是否大于预设阈值；当所述旋转角度大于预设阈值时，通过预先训练的回归模型识别所述目标人脸图像中的特征点信息，所述第一特征点信息包括第一可见特征点信息和第一不可见特征点信息；将所述第一特征点信息输入至预先训练的卷积神经网络模型，得到所述目标人脸图像对应的三维人脸图像。

进一步地，所述回归模型通过如下步骤进行预先训练：获取训练样品集，所述训练样品集中包括若干个二维人脸图像、所述二维人脸图像对应的第二特征点信息，所述第二特征点信息包括预先标定好的可见特征点和不可见特征点、所述可见特征点和所述不可见特征点对应的纹理值；将所述二维人脸图像输入至所述回归模型得到第三特征点信息；根据损失函数值对所述回归模型进行优化，直至所述第三特征点信息与所述第二特征点信息的损失函数收敛。

进一步地，所述卷积神经网络模型通过如下步骤进行预先训练：获取原始人脸特征信息和所述原始人脸信息对应的三维人脸模型；将所述原始人脸特征信息和所述三维人脸模型分别作为所述卷积神经网络模型的输入数据集和标准输出数据集；对所述卷积神经网络模型的组合系数进行调整，直至所述卷积神经网络模型针对所述输入数据集得到的输出数据集与所述标准输出数据集收敛。

进一步地，所述第一特征点信息包括第一特征点的坐标位置和第一特征点的纹理参数。

进一步地，所述第一不可见特征点信息为所述目标人脸图像不可见区域对应的信息。

进一步地，通过图像获取设备获取所述图片，所述图像获取设备包括镜头、自动聚焦音圈马达、机械防抖器以及图像传感器，所述镜头固装在所述自动聚焦音圈马达上，所述镜头用于获取图像(图片)，所述图像传感器将所述镜头获取的图像传输至所述识别模块，所述自动聚焦音圈马达安装在所述机械防抖器上，所述处理模块根据镜头内的陀螺仪检测到的镜头抖动的反馈驱动所述机械防抖器的动作，实现镜头的抖动补偿。