[发明专利]一种基于深度学习的多视点人脸三维模型重建的方法

摘要

本发明公开了一种基于深度学习的多视点人脸三维模型重建的方法，属于计算机视觉领域。该方法包括：多光照多视点虚拟人脸图像生成；人脸正视图的深度图生成；多个独立并行的卷积神经网络训练；各视角权重分布的神经网络训练；将网络输出的深度图恢复出人脸三维网格模型并进行顶点着色。本发明的方法通过将多视点图像分别进行独立训练恢复出深度图，再训练出各视角权重分布图继而进行深度融合，在保证效率的前提下提高了人脸三维重建模型的精度。

主权项

1.一种基于深度学习的多视点人脸三维模型重建的方法，其特征在于，包括如下步骤：S1，将大批量的人脸三维模型通过设定多个虚拟视点和多种光照条件，分别渲染得到不同视点和不同光照下的具有真实感的人体面部图片；S2，选取合适的人脸正视图的相机内外参数，计算人脸深度数据，并存为与人脸虚拟图片相同尺寸的深度图，深度图上每一个像素对应人脸正视图中的像素，作为深度学习训练的真值；S3，将人脸虚拟图片进行数据增强预处理后作为深度神经网络的输入，不同视点的数据使用独立并行的网络进行训练，分别得到不同视角预测得到的人脸深度图；S4，将步骤S3获得的不同视角的数据进行拼接后作为预测各视角权重分布模块网络的输入，输出各视角权重分布图，将不同视角预测得到的深度图数据按照权重进行融合，得到最终预测的深度图；S5，根据设定的相机内参，由深度图恢复到人脸三维模型，再由人脸虚拟图片给模型进行顶点着色。