[发明专利]基于模板变形的多视角三维人体重建方法

权利要求书

1.一种基于模板变形的多视角三维人体重建方法，其特征在于包括如下步骤：

步骤一，采集多视角下的模板姿态A和新姿态N的图像和掩膜；

步骤二，对模板姿态A进行建模、修缮，得到模板人体模型AM；

步骤三，提取模板姿态A、新姿态N图像上的人体的关节点，换成三维人体骨骼点；

步骤四，根据骨骼点的信息，将模板模型AM变形到N的姿态，进而得到形变模型NM；

步骤五，基于形变模型NM提取语义先验、深度先验和法向先验；然后根据先验信息进行点云重建；

步骤六，构建出最终的模型FM，并进行贴图处理。

2.根据权利要求1所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：步骤三中，利用深度神经网络获得A、N图像上的二维骨骼点的位置，恢复出人体三维骨骼点，其公式为:

3.根据权利要求1所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：步骤五中，在形变模型NM上找到与每个骨骼点最近的一圈顶点，将这些顶点作为种子点，以模型NM上每个顶点到所述种子点的测地距离作为评判标准并对NM进行三维分割；得到分割模型后，再将其投影到二维，即得到所述语义先验。

4.根据权利要求3所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：步骤五中，根据形变模型NM在不同视角下的深度和法向信息，利用OpenGL渲染出在不同视角下的深度先验、法向先验。

5.根据权利要求4所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：基于步骤一中的掩膜，引导滤波算法将得到的语义先验、深度先验和法向先验重新引导到二维位置。

6.根据权利要求5所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：

步骤五中，根据得到的先验信息，对图像X^r的每个像素的语义S_l、深度θ_l、法向N_l信息进行联合分析，进行点云重建，重建问题为最大化后验概率P(S，θ，N|X)：

7.根据权利要求6所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：步骤五中，在点云重建后，检测重建点云中的缺失部分，用形变模型NM填补缺失信息。

8.根据权利要求7所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：首先，基于点云用非刚体形变算法来优化中模型NM，基于损失函数得到模型NM’；其次，先将点云和模型NM’都重投影到相机视角，通过比较点云和模型NM’在不同视角的深度信息差异，检测出点云中的空缺，再将模型NM’对应部分填补到点云上；最后重复上述步骤，直到模型NM’不再改变且点云完整。

9.根据权利要求8所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：所述损失函数为：

其中，λ代表可调参数，n指NM上的顶点个数，ψ_T是Tukey惩罚函数，ψ_H是Huber惩罚函数；v_ct表示从NM优化来的点，n_ct是它对应的法向，v_t是v_ct在点云上的最近点；V_node是在点云上以∈为间距采样的m个关键点，是第j个关键点的空间位置，ε(i)表示第i个关键点周围的K个临近关键点集合。

10.根据权利要求1所述的一种基于模板变形的多视角三维人体重建方法，其特征在于：在步骤六构建出模型FM后所进行的贴图处理中，首先，确保所有顶点可见；其次对模型坐标参数化处理，将模型FM上的每个三角面片都计算出它的UV坐标；最后，去除色差。