[发明专利]非线性3DMM人脸重建和姿态归一化方法、装置、介质及设备

说明书

本发明公开了一种非线性3DMM人脸重建和姿态归一化方法、装置、介质及设备，属于计算机视觉领域。该方法包括：对模型进行训练，将2D人脸图像输入模型，得到3D人脸。模型包括CNN编码器、形状解码器、纹理解码器和渲染层；CNN编码器对2D人脸图像样本估计得到相机投影参数、形状参数和纹理参数，形状解码器和纹理解码器将形状参数和纹理参数解码为3D形状和3D纹理。训练时渲染层得到渲染图像，通过损失函数训练模型。预测时渲染层进行3D渲染，得到3D人脸。本发明具有比线性3DMM更高的表示能力，训练和预测端到端进行，无需3D面部扫描即可利用2D图像进行网络训练，重建后的3D人脸在归一化后识别准确率高。

技术领域

本发明涉及计算机视觉领域，特别是指一种非线性3DMM人脸重建方法、装置、计算机可读存储介质及设备，以及基于该非线性3DMM重建方法的人脸姿态归一化方法、装置、计算机可读存储介质及设备。

背景技术

在人脸图像识别技术中，人脸的姿态是影响人脸识别率的重要因素，现有技术的人脸图像识别主要是对正面人脸图像或者小姿态(角度)人脸图像的识别，对于大姿态人脸图像的识别结果很不理想，为了提高识别准确率，需要对人脸图像(尤其是大姿态人脸图像)进行姿态归一化。

前述的人脸图像、小姿态人脸图像和大姿态人脸图像都是2D人脸图像。基于3D重建的人脸姿态归一化方法是指将前述的2D人脸图像进行3D重建，得到3D人脸，对3D人脸进行姿态矫正(归一化)后重新投影成2D人脸图像以完成人脸姿态归一化的方法。

基于3D重建的人脸姿态归一化方法的核心是对待归一化的2D人脸图像进行3D重建，一般的，3D在重建中3DMM类型的方法应用最多，3DMM方法主要分为如下方面。

(1)线性3DMM参数估计方法

3D形变模型(3D Morphable Model，3DMM)，是一种基于统计学原理构建3D人脸模型的方法。线性3DMM参数估计方法的大致思路是利用一个人脸数据库构造一个平均(准确地说是特征人脸：平均人脸+特征向量组*对应系数，注：此系数非特征值，而是需要最终逆向求解的)人脸形变模型，在给出新的2D人脸图像后，将2D人脸图像与平均人脸形变模型进行匹配结合，调整平均人脸形变模型相应的参数，将平均人脸形变模型进行形变，直到平均人脸形变模型与人脸图像的差异减到最小，这时对纹理进行优化调整，即可完成3D人脸建模。

通过以上步骤完成人脸3D建模后，再通过3D人脸旋转方法将3D人脸进行姿态旋转，最后将转正后的3D人脸在二维图像平面进行投影，完成2D人脸姿态的归一化。

线性3DMM人脸重建是在面部扫描的基础上得到训练集，并基于该训练集执行主成分分析(PCA)来监督3DMM。主成分分析(Principal Component Analysis，PCA)是一种统计方法。通过正交变换将一组可能存在相关性的变量转换为一组线性不相关的变量，转换后的这组变量叫主成分。要模拟高度可变的3D脸部形状，需要大量高质量的3D脸部扫描。但是，这个要求对于实现来说是很昂贵的。广泛使用的巴塞尔人脸模型(BFM)是在中性表达式中仅有200名受试者构建的。缺乏的表情数据使用FaceWarehouse表情数据集来补偿。但几乎所有的模型都使用不到300次训练扫描。这样一个小的训练集远不足以描述人脸的完整变化。

其次，在良好控制的条件下，线性3DMM的纹理模型通常用少量的3D扫描共同捕获的2D人脸图像构建。因此，这种模型只能学习在相似的条件下表现面部纹理，而在其他条件下(如在野外环境中)表现不佳。这大大限制了3DMM的应用场景。

最后，线性3DMM的表示能力不仅受限于训练集的大小，而且还受其公式化。面部变化本质上是非线性的。例如，不同的面部表情或姿势的变化本来是非线性的，这违反了基于PCA的模型的线性假设。因此，线性3DMM模型不能很好地解释面部变化。

(2)基于改进的线性3DMM方法