[发明专利]一种三维人体虚拟化重建方法及装置

权利要求书

1.一种三维人体虚拟化重建方法，其特征在于，包括步骤：

S1：使用照相设备拍摄人体姿势标准T-pose图片，将所述T-pose图片输入第一神经网络模型获取人体三维形貌模型；其中所述第一神经网络模型预先使用大量真实人体姿势图像进行训练；

S2：通过形态参数与姿态参数对人体参数化模型STAR进行拟合生成优化人体参数化模型，将所述优化人体参数化模型与所述人体三维形貌模型的顶点及边缘绑定，生成可驱动人体模型；所述可驱动人体模型通过所述形态参数与姿势参数驱动；

S3：在同一时刻使用多个照相设备从多个视角拍摄，获取所述多个视角的人体图片集合，将所述人体图片集合输入第二神经网络模型，获取所述多个视角所述人体二维关节点坐标，组成人体二维关节点坐标集；基于所述多个视角得出人体三维姿态；拟合所述人体二维关节点坐标集和所述人体三维姿态，得到所述姿势参数集；

S4：将所述姿势参数集输入所述可驱动人体模型，生成对应于所述多个视角的多种姿势的三维人体模型；

S5：重复步骤S3和S4，实现所述三维人体模型实时更新。

2.根据权利要求1所述的三维人体虚拟化重建方法，其特征在于，将所述T-pose图片输入第一神经网络模型获取人体三维形貌模型包括步骤：

曲面重建：所述T-pose图片经过采用沙漏堆积网络结构的图像特征编码器，生成各空间三维点的第一图像特征；将各所述空间三维点的第一图像特征与深度值输入由多层感知器神经网络构成的隐式函数，得到一个连续的空间内外概率场，提取所述概率场的等值面为三维人体模型表面；所述多层感知器神经网络的中间层使用leakyReLU激活函数，最后一层使用sigmoid激活函数；

遮挡区域纹理推断：将所述各空间三维点的第一图像特征输入采用生成对抗网络结构的图像特征编码器，生成各空间三维点的第二图像特征，将各所述空间三维点的第二图像特征与深度值输入由多层感知器神经网络构成的隐式函数，输出各所述空间三维点的预测颜色值；所述多层感知器神经网络的中间层使用leakyReLU激活函数，最后一层使用tanh激活函数。

3.根据权利要求1所述的三维人体虚拟化重建方法，其特征在于，所述第二神经网络模型为ResNet50模型，所述ResNet50神经网络模型由MPII与LSP公开数据集，以Heatmap与Part Affinity Field作为训练数据集的真值，使用L2损失函数训练。

4.根据权利要求1所述的三维人体虚拟化重建方法，其特征在于，通过形态参数与姿态参数对所述人体参数化模型STAR进行拟合生成所述优化人体参数化模型，计算公式为：

其中，v′_i为所述人体参数化模型的顶点向量，v_i为所述人体形貌模型的顶点向量，N为定顶点个数，β为人体模型的形貌参数，θ为人体模型的姿态参数；使用L-BFGS算法求解上述的无约束最小化公式，得到所述优化人体参数化模型的形貌参数β和姿态参数θ。