[发明专利]一种基于端到端卷积神经网络的人脸三维重建方法

权利要求书

1.一种基于端到端卷积神经网络的人脸三维重建方法，其特征在于，该方法包括如下步骤：

(1)获取模板人脸:基于Basel人脸数据库中的平均人脸三维模型，去除每个顶点的三维坐标值，只保留顶点之间的连接关系和每个顶点的二维UV坐标。

(2)处理训练数据集：基于AFLW2000人脸数据集，首先扩充训练数据，然后编码人脸三维模型。

(3)训练神经网络：使用深度学习工具TensorFlow构建卷积神经网络，并在训练集上训练。

(4)重建三维人脸：对于需要重建的人脸图片，使用步骤3得到神经网络模型，重建得到三维人脸模型。

2.根据权利要求1所述基于端到端卷积神经网络的人脸三维重建方法，其特征在于，所述步骤2包括以下子步骤：

(2.1)扩充训练数据：对于AFLW2000人脸数据集中的每张人脸图片，使用水平翻转、绕图片中心旋转随机角度、在水平方向上平移随机距离、在垂直方向上平移随机距离或用随机图片遮挡方式扩展生成多张新的人脸。

(2.2)编码人脸三维模型：对于训练数据集中的每个人脸模型，将其中的每个顶点按如下方式变换以和人脸图片对齐：

v_i′＝T_i·R_i·S_i·v_i

其中，下标i表示第i个人脸模型，v_i表示变换前的顶点坐标，v_i′表示变换后的坐标，T表示平移矩阵，R表示旋转矩阵，S表示缩放矩阵。

接下来对每个人脸模型生成一张256x256的三通道、浮点格式的图片I_i，称之为二维点坐标图。每个顶点根据其二维UV坐标(x_i,y_i)，将变换后的三维坐标v_i写入I_i对应的像素点，即：

I_i[x_i,y_i]＝v_i′

对于I_i中未被UV坐标覆盖的像素点(x,y)，找到距离其最近的三个UV坐标(uv_a,uv_b,uv_c)，这三个UV坐标构成一个三角形，计算该点在这个三角形中的重心坐标(w_a,w_b,w_c)，按如下方式得到像素点(x,y)的值：

I_i[x,y]＝w_a·v′_a+w_b·v_b′+w_c·v_c′

其中v′_a，v_b′，v_c′为三个UV坐标对应的变换后的顶点三维坐标。