[发明专利]3D人脸点云重建方法及系统

权利要求书

1.一种3D人脸点云重建方法，其特征在于，包括如下步骤：

1)、从包括多帧人脸图像的视频流中选择相邻两帧人脸图像，通过处理得到分别与两帧人脸图像对应的初始点云S_T、S_T+1；

2)、然后通过预先定义的初始变换矩阵{R_i，T_i}对初始点云S_T进行变换，得到S′_T，将S′_T与S_T+1拼接融合后送入基于卷积神经网络的包括卷积层和最大池化层的系数预测网络，得到一组迭代系数矩阵(α，β)；

3)、将S′_T和S_T+1分别送入基于卷积神经网络的第一特征提取网络，所述第一特征提取网络用于对S′_T和S_T+1进行网络下采样，以得到两组特征矩阵F_T与F_T+1；

4)、通过一计算模型得出初始配准矩阵M₀，所述计算模型的输入参数为一组迭代系数矩阵(α，β)，以及特征矩阵F_T与F_T+1；

5)、对初始配准矩阵M₀进行归一化处理，得到最终配准矩阵M_T；

6)、采用分解算法，对M_T进行奇异值分解，得到变换矩阵{R_T，T_T}，采用{R_T，T_T}对{R_i，T_i}进行更新，作为下一帧点云变换的初始值。

2.根据权利要求1所述的3D人脸点云重建方法，其特征在于，所述初始配准矩阵M₀的计算模型为：

其中，Δ_F为F_T与F_T+1之间的欧氏距离。

3.根据权利要求1所述的3D人脸点云重建方法，其特征在于，在所述步骤1)中，从相邻两帧所述人脸图像得到所述初始点云的方法包括：

对所述人脸图像进行初步裁剪，所述人脸图像包括RGB图和深度图，将所选取的相邻两帧人脸图像输入基于卷积神经网络的人脸检测网络，从而获得与之对应的2D人脸框；

基于所述2D人脸框，分别将所选取的两帧人脸图像的RGB图像和深度图坐标系对齐，以得到分别与两帧人脸图像对应的初始点云S_T、S_T+1。

4.根据权利要求3所述的3D人脸点云重建方法，其特征在于，在所述步骤1)中，当初始点云S_T、S_T+1建立后，还包括对人脸图像进行再次裁剪的步骤：

以2D人脸框的中心为中点，根据一定的深度阈值对所述初始点云S_T、S_T+1进行裁剪；所述深度阈值可为预先设置的先验值或经过初步裁剪后的人脸图像中的深度数据的平均值。