[发明专利]一种三维人体虚拟化重建方法及装置

说明书

本发明公开了一种三维人体虚拟化重建方法与装置，属于计算机视觉技术领域。所述方法包括通过优化目前常用的人体参数化模型(如STAR)，使其能与利用人体Tpose照片通过预训练好的神经网络构建人体三维形貌模型绑定；同时本方法利用多相机实时获取多视角的人体三维姿态，对于严重遮挡场景的鲁棒性更强，与单相机相比可以更加精确的估计场景中人体的三维关节点坐标，使得获取的姿态参数更为完整精确，在使用姿态参数驱动绑定后的人体三维模型时，实现实时精确且多视角的动画效果。

技术领域

本发明涉及计算机视觉技术领域，特别是涉及一种三维人体虚拟化重建方法及装置。

背景技术

在计算机视觉中，三维人体重建是指根据单视图或者多视图的二维图像重建三维人体信息的过程，在虚拟现实中有着广泛的应用前景。AR(Augmented Reality，增强现实)技术将真实和虚拟世界信息“无缝”集成，包含了实时视频显示、三维建模、实时跟踪与注册、场景融合等新手段，实现了远程可视化交互。为此，将人体重建技术应用到AR远程交互中，可以实现真实的人体对象在虚拟三维场景中重现。

在进行真实人物的三维虚拟化重建时，其三维人体形貌与姿态是重建工作的重中之重。当前，三维人体形貌重建以及姿态估计的工作已经分别相对成熟。在人体形貌重建方面，利用深度学习基于单张图片即可重建出较为精准的穿衣人体的三维形貌模型。在人体姿态估计方面，使用多个彩色相机，通过深度学习即可预测出较为准确的三维关节点坐标，重构出场景中人物的三维姿态骨架。然而目前现有的三维动画模型都是基于人体参数化模型实现的，利用预测的骨架信息驱动该参数化模型。尽管参数化模型能够捕捉人体的测量和运动，但它们只能生成一个赤裸的人体，衣服、头发和其他配饰的三维表面信息完全被忽略，缺乏穿衣人体的外部纹理信息，无法还原真实场景中的人体信息。

发明内容

有鉴于此，本发明提供的一种三维人体虚拟化重建方法及装置，主要目的在于通过将人体参数化模型STAR优化，从而使其能与人体形貌模型的顶点及边缘绑定来生成可驱动人体模型，解决现有技术中利用预测的骨架信息驱动人体参数化模型所带来的人体外表形貌问题被忽略的问题；并且本发明利用多相机实时提供多视角的人体姿态，生成多种姿态的动画效果三维人体模型。

根据本发明一个方面，提供了一种三维人体虚拟化重建方法，该方法包括步骤：S1：使用照相设备拍摄人体姿势标准T-pose图片，将所述T-pose图片输入第一神经网络模型获取人体三维形貌模型；其中所述第一神经网络模型预先使用大量真实人体姿势图像进行训练；S2：通过形态参数与姿态参数对人体参数化模型STAR进行拟合生成优化人体参数化模型，将所述优化人体参数化模型与所述人体三维形貌模型的顶点及边缘绑定，生成可驱动人体模型；所述可驱动人体模型通过所述形态参数与姿势参数驱动；S3：在同一时刻使用多个照相设备从多个视角拍摄，获取所述多个视角的人体图片集合，将所述人体图片集合输入第二神经网络模型，获取所述多个视角所述人体二维关节点坐标，组成人体二维关节点坐标集；基于所述多个视角得出人体三维姿态；拟合所述人体二维关节点坐标集和所述人体三维姿态，得到所述姿势参数集；S4：将所述姿势参数集输入所述可驱动人体模型，生成对应于所述多个视角的多种姿势的三维人体模型；S5：重复步骤S3和S4，实现所述三维人体模型实时更新。

作为本发明的进一步改进，将所述T-pose图片输入第一神经网络模型获取人体三维形貌模型包括步骤：曲面重建：所述T-pose图片经过采用沙漏堆积网络结构的图像特征编码器，生成各空间三维点的第一图像特征；将各所述空间三维点的第一图像特征与深度值输入由多层感知器神经网络构成的隐式函数，得到一个连续的空间内外概率场，提取所述概率场的等值面为三维人体模型表面；所述多层感知器神经网络的中间层使用leakyReLU激活函数，最后一层使用sigmoid激活函数；遮挡区域纹理推断：将所述各空间三维点的第一图像特征输入采用生成对抗网络结构的图像特征编码器，生成各空间三维点的第二图像特征，将各所述空间三维点的第二图像特征与深度值输入由多层感知器神经网络构成的隐式函数，输出各所述空间三维点的预测颜色值；所述多层感知器神经网络的中间层使用leakyReLU激活函数，最后一层使用tanh激活函数。