[发明专利]高精度人体体态重建方法及系统

说明书

本发明公开了一种高精度人体体态重建方法及系统，其中，该方法包括以下步骤：获取人体视频，并选取人体视频的关键帧；搭建深度神经网络获取关键帧的人体轮廓信息和二维关节信息；构造参数化人体模型，利用人体轮廓信息和二维关节信息对参数化人体模型进行约束，获得初始化人体姿态参数；利用二维关节信息和人体轮廓信息优化初始化人体姿态参数，并选取人体视频的全部帧，构造联合约束，再次优化初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值。该方法利用少数几个角度的人体RGB信息，可以更好地重建人体模型，使得重建得到的人体模型更精确地反应真实人体身材。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种高精度人体体态重建方法及系统。

背景技术

随着计算机视觉领域中的三维重建技术的不断发展，人体的三维重建技术成为了计算机室领域中的一个研究热点。现实生活中，网络上拥有大量的包含人物信息的图片，如何利用这些图片重建出相应的三维人体模型成为一个新兴的研究方向。

目前流行的基于RGB图片的人体重建方法主要分为重建参数化人体模型以及重建基于体素(voxel)表示的人体模型。针对RGB图片重建问题，一般解决方法为先从图片估计二维关节位置，再通过三维关节与二维平面关节投影距离最小来实现优化得到参数，进而得到人体。重建基于体素表示的人体模型，则是通过将空间分割为一个个小立方体，通过立方体是否被物体占用来表示三维模型。

尽管基于RGB图片重建三维人体模型技术已经有了很大的发展，但目前两种流行方法仍各有其问题：重建参数化模型，导致结果对人体表面几何细节的表现能力有限，无法很好地重建出人体表面衣物的细节纹理。基于体素表示的人体模型，则是由于目前显存的限制，最高精度只能达到128*128*128，整体表现较粗糙。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种高精度人体体态重建方法，该方法利用少数几帧RGB图片信息更精确地重建人体三维模型。

本发明的另一个目的在于提出一种高精度人体体态重建系统。

为达到上述目的，本发明一方面提出了高精度人体体态重建方法，包括以下步骤：获取人体视频，并选取所述人体视频的关键帧；搭建深度神经网络获取所述关键帧的人体轮廓信息和二维关节信息；构造参数化人体模型，利用所述人体轮廓信息和所述二维关节信息对所述参数化人体模型进行约束，获得初始化人体姿态参数；利用所述二维关节信息和所述人体轮廓信息优化所述初始化人体姿态参数，并选取所述人体视频的全部帧，构造联合约束，再次优化所述初始化人体姿态参数，利用高斯牛顿公式迭代两次优化过程，直至相邻两次迭代的能量差值小于预设阈值。

本发明实施例的高精度人体体态重建方法，利用人体旋转一周的几个角度二维的彩色RGB图片，以及由其获得的二维关节分布和人体轮廓信息，利用迭代的方法分别优化人体的姿态信息和体态信息，最终得到高精度人体三维模型，可以更好地重建人体模型，使得重建得到的人体模型更精确地反应真实人体身材。

另外，根据本发明上述实施例的高精度人体体态重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述人体视频为利用固定位置的RGB相机拍摄人体旋转一周的视频。

进一步地，在本发明的一个实施例中，人体旋转一周的过程需保持相同姿势。

进一步地，在本发明的一个实施例中，所述关键帧需从所述人体视频中均匀选取。

进一步地，在本发明的一个实施例中，所述利用深度神经网络提取所述关键帧的人体轮廓信息和二维关节信息进一步包括：利用深度神经网络对所述关键帧进行分割，得到所述人体轮廓信息；利用深度神经网络提取所述关键帧的二维关节点热力图，得到所述二维关节信息。