[发明专利]三维人脸图像重建方法、装置和计算机可读存储介质

说明书

本公开公开了一种三维人脸图像重建方法、三维人脸图像重建装置、三维人脸图像重建硬件装置和计算机可读存储介质。其中，该三维人脸图像重建方法包括获取真实二维人脸关键点和预测二维人脸关键点，通过求解由真实二维人脸关键点、预测二维人脸关键点和预先设定的附加正则约束项组成的第一损失函数迭代优化出表情系数，使表情系数表征人脸的真实状态，并根据表情系数重建三维人脸图像。本公开实施例首先通过求解由真实二维人脸关键点、预测二维人脸关键点和预先设定的用于约束表情系数的附加正则约束项组成的第一损失函数迭代优化出表情系数，使表情系数能够表征人脸的真实状态，可以使三维人脸图像重建技术得到优化，得到人脸真实的状态。

技术领域

本公开涉及一种三维重建技术领域，特别是涉及一种三维人脸图像重建方法、装置和计算机可读存储介质。

背景技术

随着设备计算能力的提升以及三维技术的发展，三维人脸受到了学术界与工业界越来越多的关注，其应用领域也越来越广泛。三维重建技术是三维技术的源头技术，传统的三维重建技术依赖于高精度的激光雷达或多视角三维重建。这些方法虽然可靠，但激光雷达对于设备要求很高，依赖于特征点匹配的多视角三维重建又相当耗时，因此从单张图片恢复三维模型成为了人们研究的热点。三维人脸图像重建可用于换脸，表情合成等领域，其精度要求较低，完全可以借助于单张图片三维重建技术。

目前，基于三维模型的三维人脸图像重建主要依赖于二维和三维人脸关键点的匹配。一般方法是首先建立身份和表情两个维度的三维可形变模型(即在身份和表情两个维度分解出来的PCA模型)，之后通过解优化的方式，求解身份系数、表情系数、旋转矩阵、平移向量以及焦距，最后通过三维可形变模型及相应系数重建出三维人脸。

其中，求解表情系数的过程中，采用传统损失函数loss＝||L_P-L_t||²+λ||e||²，其中，||·||表示向量二范数，L_P表示预测出的二维关键点位置，L_t表示真实二维关键点位置，λ表示正则项系数，e表示表情系数。

但是，由于单张图片在深度方向具有歧义性，例如近大远小效应，因此上述三维人脸图像重建技术容易导致错误的优化。例如，当人脸左右转动产生较大姿态时，会导致三维人脸两只眼睛的大小不同，不符合真实结果。

发明内容

本公开解决的技术问题是提供一种三维人脸图像重建方法，以至少部分地解决重建的人脸不符合真实结果的技术问题。此外，还提供一种三维人脸图像重建装置、三维人脸图像重建硬件装置、计算机可读存储介质和三维人脸图像重建终端。

为了实现上述目的，根据本公开的一个方面，提供以下技术方案：

一种三维人脸图像重建方法，包括：

获取真实二维人脸关键点和预测二维人脸关键点；

通过求解由所述真实二维人脸关键点、所述预测二维人脸关键点和预先设定的附加正则约束项组成的第一损失函数迭代优化出表情系数，所述附加正则约束项用于约束所述表情系数，使所述表情系数表征人脸的真实状态；

根据所述表情系数重建三维人脸图像。

进一步的，所述方法还包括：

获取多个人不同表情的三维人脸模型及各三维人脸模型上的三维人脸关键点；

将所述三维人脸模型和所述三维人脸关键点在表情维度进行具有语义的分解，得到三维可形变模型的核心张量中的表情基向量，由所述表情基向量构成所述附加正则约束项。

进一步的，所述附加正则约束项为