[发明专利]面向精细结构的三维人脸重建方法、系统、装置

权利要求书

1.一种面向精细结构的三维人脸重建方法，其特征在于，该方法包括：

步骤S10，获取待重建的二维人脸图像，作为输入图像；

步骤S20，对所述输入图像进行关键点检测并拟合3DMM模型的参数，得到三维空间变换函数和初始的三维人脸形状；

步骤S30，根据所述空间变换函数对所述初始的三维人脸形状进行空间变换，得到拟合的3DMM人脸模型上各点在所述输入图像上的位置，根据所述位置将输入图像脸部区域的各像素映射到3DMM人脸模型的UV纹理空间，得到UV纹理图；

步骤S40，对所述3DMM人脸模型，计算其各点在所述输入图像上对应的法线向量，并将各法线向量的z坐标映射到其的UV纹理空间，得到UV可见图；通过卷积神经网络提取所述UV可见图的特征，得到注意力特征图；

步骤S50，将所述初始的三维人脸形状各点映射到UV纹理空间，得到UV形状图；将所述注意力特征图、所述UV纹理图相乘后与所述UV形状图相加，将相加后的特征图作为第一特征图；

步骤S60，基于所述第一特征图，通过预训练的全卷积神经网络得到所述3DMM人脸模型各点在标准空间的形状更新量；根据所述3DMM人脸模型点到UV纹理空间的映射关系，将各形状更新量与所述初始的三维人脸形状对应的各点相加，得到所述输入图像对应的三维重建结果。

2.根据权利要求1所述的面向精细结构的三维人脸重建方法，其特征在于，所述输入图像其对应的三维人脸目标形状，其获取方法为：

将所述初始三维人脸形状与所述输入图像分别进行PCA人脸纹理模型、冯氏照明模型的拟合，得到模型人脸纹理，并结合所述初始三维人脸形状，得到带纹理的初始三维人脸；

获取所述带纹理的初始三维人脸与所述输入图像各点的对应关系，并通过非刚性的迭代最近点算法进行配准，得到拓扑一致的三维人脸点云数据，并将该数据构建的三维人脸形状作为三维人脸目标形状。

3.根据权利要求2所述的面向精细结构的三维人脸重建方法，其特征在于，“获取所述带纹理的初始三维人脸与所述输入图像各点的对应关系”，其方法为：

如果且

其中，v_i、c_i分别为带纹理的初始三维人脸中的点云及像素值，v_k^*、c_k^*分别为输入图像中的点云和其对应的像素值，τ_v、τ_c表示预设的距离阈值，k_corr表示带纹理的初始三维人脸各点在输入图像中寻找到的对应关系最近的点的索引，λ_tex表示在最近邻搜索中预设的纹理约束的权重。

4.根据权利要求3所述的面向精细结构的三维人脸重建方法，其特征在于，所述3DMM人脸模型各点的形状更新量，其获取方法为：

其中，ΔS表示3DMM人脸模型各点的形状更新量，表示3DMM模型中预设的在标准空间中的三维人脸平均形状，S_init表示初始的三维人脸形状，表示三维人脸目标形状和平均形状的差值。

5.根据权利要求4所述的面向精细结构的三维人脸重建方法，其特征在于，所述三维人脸目标形状和平均形状的差值，其计算方法为：

其中，R,f,t_3d是3DMM模型中的刚性变换参数，f是缩放系数，R是三维旋转矩阵，t_3d是平移系数，V_regist表示拓扑一致的三维人脸点云数据，S_morph表示标准空间中V_regist对应的真实人脸形状与平均形状的差。