[发明专利]基于多帧点云融合与可变模型的三维人脸超分辨率方法

权利要求书

1.基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：包括如下步骤：

S1、获取视频帧深度图像与点云序列P_i∈P，其中P_i为单帧点云，P为点云集合；

S2、以平均脸为模板、以P_i为目标点云通过ICP(迭代就近点)算法计算可变模型粗糙拟合结果并且得到第一粗糙拟合分数；S2中，可变模型为其中为平均脸，a_i为模型参数，m_i为模型特征向量，可变模型粗糙拟合结果包括第一旋转矩阵R_i、第一平移矩阵T_i和第一粗糙拟合分数S_i；

S3、根据第一粗糙拟合分数对P_i进行筛选得到检测成功点云集合P_f，并且进行集合划分；S3的具体方法为：将满足S_i＜S_th的点云P_i从P中去除，其中S_th为第一粗糙拟合检测阈值，得到检测成功点云集合P_f；

S4、以P_f中的第一个点云P₀为目标点云，以P_f中其余所有人脸点云P_r为模板，将分别对P₀通过ICP算法进行配准得到第二粗糙拟合分数；S4中，配准得到第二粗糙拟合分数S_j、第二旋转矩阵R_j和第二平移矩阵T_j；

S5、根据第二粗糙拟合分数对P_r进行筛选，并且将通过筛选的点云转换至P₀所在的位置，得到配准点云集合P_align＝{P₀,P_j0}；S5的具体方法为：

S5.1、将所有满足S_j＜S_r的点云从P_r中去除，其中S_r为配准阈值；

S5.2、将P_r中余下的所有点云转换到P₀所在的位置，具体的转换方法为：

P_j0＝R_jP_j+T_j；

其中P_j0为转换后的点云；

S6、对P_align进行转换得到平滑融合点云P_fusion；S6的具体方法为：

S6.1、设P_align中的所有点云对象聚合的总体三维人脸点云为P_all，遍历P_all计算：

其中U_all为点云质心，N为P_all的总点数；

S6.2、对P_align中的每个对象以及P_all中的每一个点P_common进行质心去除，即：

P_common＝P_common-U_all；

S6.3、对P_all求取法向量得到法向量集合N_all；

S6.4、通过MLS(移动最小二乘)算法对P_all与N_all进行平滑滤波融合得到P_fusion；

S7、使用三维人脸可变模型对P_align中的对象P_k进行可变拟合，并且根据可变拟合结果生成可变模型人脸融合点云M_avg；S7的具体方法为：

S7.1、对P_align中的每个对象P_K使用可变模型M进行可变拟合得到可变拟合结果：

M_k＝M+∑_ia_km_i；

其中M_k为对P_K进行拟合得到的人脸点云，a_K为对应的可变系数，所有a_K系数构成可变系数集合A，A中所有对象的平均值为A_avg；

S7.2、计算平均可变模型结果：

M_avg＝M+∑_ia_avgm_i；

S8、对P_fusion和M_avg进行融合得到三维人脸超分辨率点云P_output。

2.如权利要求1所述的基于多帧点云融合与可变模型的三维人脸超分辨率方法，其特征在于：S8中的融合方法为：

P_output＝M_avg+P_fusion。