[发明专利]3D重建以及人脸姿态归一化方法、装置、存储介质及设备

说明书

本发明公开了一种3D重建以及人脸姿态归一化方法、装置、存储介质及设备，属于计算机视觉领域。所述的3D重建方法包括：获取2D人脸图像；将所述2D人脸图像输入轻量卷积神经网络，经过轻量卷积神经网络的若干卷积操作和转置卷积操作，提取2D人脸图像的特征并将该特征转换为表示欲重建的3D人脸的3D几何信息的UV位置图；所述UV位置图的像素点的RGB像素值是欲重建的3D人脸对应三维点的三维坐标值；根据所述UV位置图提供的3D几何信息以及所述2D人脸图像提供的纹理信息进行3D人脸转换，得到3D人脸。本发明的3D重建准确性、鲁棒性好，重建分辨率高、速度快。重建后的3D人脸尤其对大姿态人脸归一化效果好，识别正确率高。

技术领域

本发明涉及计算机视觉领域，特别是指一种3D重建方法、装置、计算机可读存储介质及设备，以及基于该3D重建方法的人脸姿态归一化方法、装置、计算机可读存储介质及设备。

背景技术

在人脸图像识别技术中，人脸的姿态是影响人脸识别率的重要因素，现有技术的人脸图像识别主要是对正面人脸图像或者小姿态(角度)人脸图像的识别，对于大姿态人脸图像的识别结果很不理想，为了提高识别准确率，需要对人脸图像(尤其是大姿态人脸图像)进行姿态归一化。

前述的人脸图像、小姿态人脸图像和大姿态人脸图像都是2D人脸图像。基于3D重建的人脸姿态归一化方法是指将前述的2D人脸图像进行3D重建，得到3D人脸，对3D人脸进行姿态矫正(归一化)后重新投影成2D人脸图像以完成人脸姿态归一化的方法。

基于3D重建的人脸姿态归一化方法的核心是对待归一化的2D人脸图像进行3D重建，根据重建方式的不同，基于3D重建的人脸姿态归一化方法可大致分为基于3DMM参数的估计方法和基于体素的估计方法。

(1)基于3DMM参数的估计方法

3D形变模型(3D Morphable Model，3DMM)，是一种基于统计学原理构建3D人脸模型的方法。该方法利用一个人脸数据库构造一个特征(准确地说是特征人脸：平均人脸+特征向量组*对应系数，注：此系数非特征值，而是需要最终逆向求解的)人脸形变模型，基于该人脸数据库进行PCA特征降维得到可表征该数据库的极大无关向量组(基)；在给出新的待归一化人脸图像后，将待归一化人脸图像与特征人脸形变模型进行匹配结合，修改特征人脸形变模型相应参数的系数，通过如下公式将模型进行形变：

特征人脸形变模型＝平均人脸+特征向量组*系数向量；

通过不断将特征人脸形变模型与输入人脸图像间进行匹配、拟合进而修改系数向量，直到特征人脸形变模型表征的特征人脸与人脸图像的差异减到最小，完成人脸3D建模。再通过3D人脸模型旋转方法将3D人脸进行归一化并进行二维投影，完成2D人脸图像的姿态归一化。

该方法依据当前的3DMM公开数据库进行，而当前可用的3DMM数据库数据量小，严重限制了3DMM模型可表征的人脸范围；此外，这种方法严重依赖人脸关键点检测器，并且关键点检测误差会在重建的过程中被放大，严重影响后续的人脸归一化效果。最后，3DMM的方法为model-based的，生成的3D几何是在约束的几何空间下通过估计出的参数进行3D mesh处理得到的，这导致生成的3D几何空间受限。

(2)基于体素的估计方法

体素是体积元素(Volume Pixel)的简称，是数字数据在三维空间分割上的最小单位。该方法使用CNN将2D人脸图像与对应3D体素模型间建立密集的对应关系，通过端到端的训练和推理直接将二维人脸与3D纹理进行对应。绕过三维形变模型的构造(训练期间)和拟合(推理期间)以重建3D人脸几何体，将估计出的体素表示的3D人脸几何体进行点云模型转化，最后将转换后的3D人脸进行投影，完成2D人脸图像姿态的归一化。