[发明专利]一种基于深度学习的多视点人脸三维模型重建的方法

权利要求书

1.一种基于深度学习的多视点人脸三维模型重建的方法，其特征在于，包括如下步骤：

S1，将大批量的人脸三维模型通过设定多个虚拟视点和多种光照条件，分别渲染得到不同视点和不同光照下的具有真实感的人体面部图片；

S2，选取合适的人脸正视图的相机内外参数，计算人脸深度数据，并存为与人脸虚拟图片相同尺寸的深度图，作为深度学习训练的真值；其中，深度图上每一个像素对应人脸正视图中的像素；

S3，将人脸虚拟图片进行数据增强预处理后作为深度神经网络的输入，不同视点的数据使用独立并行的网络进行训练，分别得到不同视角预测得到的人脸深度图；

S4，将经过步骤S3数据增强预处理后获得的不同视角的人脸虚拟图片进行拼接后作为预测各视角权重分布模块网络的输入，输出各视角权重分布图，将不同视角预测得到的深度图数据按照权重进行融合，得到最终预测的深度图；其中，预测各视角权重分布模块网络的结构中：

(1)将各视角人脸图像进行图像通道维度上的拼接，作为网络的输入；

(2)针对每一个像素，将各视角预测得到的深度误差进行排序，选取误差最小的视角作为预测该像素值深度的视角真值，最后得到整张人脸深度图的视角真值分布图；

(3)在网络最后一层使用softmax函数针对预测深度图的每个像素进行分类，得到整张人脸深度图的视角预测分布图，将该分布图与之前得到的视角真值分布图采用L1范数进行约束，最终训练得到各视角分别作为最优预测视角的区域；最终融合的预测深度图，就是各视点预测的深度值的加权和，权重也是由网络训练得到的，最终融合的预测深度图每个像素上的深度值计算方式如下：

其中D(X)是像素X上代表的最终深度值，n为视角个数，d_i为视角i下预测的深度值，δ_i为视角i预测的深度数据所占权值；整个网络的总损失函数表达式为：

其中||.||₁表示l₁范数，λ₁、λ₂、λ₃是各损失项的权重系数；m是网络中所使用的深度图真值图片的尺度的种类个数，P_i是网络实际输出的视角i的尺度的深度图，G_i是训练数据中的视角i的尺度的真值深度图；P_f是将各视角预测得到的深度图按照训练得到的权重分布图进行融合后得到的结果，G是训练数据中的原始尺度的真值深度图；V_p是预测各视角的人脸权重分布图这一模块中的输入数据，V_g是人脸深度图的视角真值分布图；

S5，根据设定的相机内参，由深度图恢复到人脸三维模型，再由人脸虚拟图片给模型进行顶点着色。

2.根据权利要求1所述的一种基于深度学习的多视点人脸三维模型重建的方法，其特征在于，所述步骤S1中，对于同一视点下的模型，通过旋转矩阵实现虚拟视点的变化，通过改变光源位置实现光照的变化。

3.根据权利要求1所述的一种基于深度学习的多视点人脸三维模型重建的方法，其特征在于，所述步骤S2中，计算人脸深度数据的具体方法为：

首先选取合适的人脸正视图的相机内外参数，从而计算出人脸三维模型在该视角下的成像平面；然后从相机位置分别与成像平面的每个像素位置连成射线，射线与人脸三维模型的相交点且是距离相机中心最近的交点到相机中心位置的距离，即为模型交点处在该视角下的深度值；最后将得到的深度值存为深度图，深度图和人脸的彩色图像在像素坐标上是对齐的。

4.根据权利要求1所述的一种基于深度学习的多视点人脸三维模型重建的方法，其特征在于，所述步骤S3中，将多个视点的数据分别输入多个独立并行的网络，对深度图数据和虚拟人脸图片进行金字塔采样操作，产生四对不同尺寸的虚拟人脸图像及相应的深度图，以便从不同尺度上来对预测结果进行约束；每个独立并行的网络整体上均采用超参数相同的沙漏型“编码-解码”卷积神经网络结构，该网络结构将输入的单视图图像进行逐层特征提取，再根据这些特征进行反卷积生成预测的深度图，在反卷积层与具有相同特征图尺寸的卷积层之间建立联系，即对数据进行某一维度上的拼接，保留输入图像各个空间尺度上的信息。

5.根据权利要求1所述的一种基于深度学习的多视点人脸三维模型重建的方法，其特征在于，所述步骤S5的具体过程为：把深度图中邻近的四个构成方形的像素点按照相同的连接顺序组成直角三角形，然后进行逆投影转换为空间中的三角形面片；再根据人脸图片中的像素与深度图中的像素一一对应的关系，将人脸图片中像素的RGB颜色信息赋予人脸三维模型的相应顶点，最终得到上色的人脸三维模型。