[发明专利]3D人体网格获取方法及装置

说明书

本发明公开了一种3D人体网格获取方法及装置，包括：获取视频中每帧图像的图像特征，并针对每帧图像，将该帧图像的图像特征输入已训练的U型图神经网络，以由所述U型图神经网络基于图像特征获得对应的人体3D网格参数；所述视频为包含人的视频；将每一人体3D网格参数按照图像帧的时序次序组合并输入到已训练的残差时序图网络中，以由所述残差时序图网络基于时序对每一人体3D网格参数进行优化，使得优化后的人体3D网格所表示的人体形状与图像中的人体形状相符。

技术领域

本发明涉及图像处理技术领域，具体涉及一种3D人体网格获取方法及装置。

背景技术

恢复图像中的3D人体形状是计算机视觉中的基本任务，与仅恢复骨骼关节相比，形状恢复需要人体的细节，3D人体的恢复可以应用在机器人技术、3D动画、虚拟实际情况等多种应用程序中。

恢复图像中3D人体形状的方法包括：一种是参数方法，即通过获得图像对应的模型参数，并将模型参数输入预定义的人体模型(如SCAPE人体模型、SMPL(Skinned Multi-Person Linear Model，人体三维模型)模型等)中来拟合3D人体形状，而这些方法均采用人体模型参数作为回归目标，但模型参数是非连续的很难回归，同时数量有限的模型参数也限制了模型表达能力；另一种是非参数方法，例如体积重建位置、像素深度回归，可以更好地表达细节，但这样失去了语义信息，并且不容易与现有的模型接口相匹配。

为了利用这两种方法的优势，SMPL模型的顶点是一个不错的回归选择，在现有技术中有利用图神经网络回归SMPL顶点的位置，即回归出6890个顶点控制人体形状，但是现有技术是基于单帧图像恢复出的3D人体形状，其与图像中人体形状相差比较大。

发明内容

本发明的目的是针对上述现有技术的不足提出的一种3D人体网格获取方法及装置，该目的是通过以下技术方案实现的。

本发明的第一方面提出了一种3D人体网格获取方法，所述方法包括：

获取视频中每帧图像的图像特征，并针对每帧图像，将该帧图像的图像特征输入已训练的U型图神经网络，以由所述U型图神经网络基于图像特征获得对应的人体3D网格参数；所述视频为包含人的视频；将每一人体3D网格参数按照图像帧的时序次序组合并输入到已训练的残差时序图网络中，以由所述残差时序图网络基于时序对每一人体3D网格参数进行优化，得到优化后的每一人体3D网格参数。

本发明的第二方面提出了一种3D人体网格获取装置，所述装置包括：

特征获取模块，用于获取视频中每帧图像的图像特征；

图像模块，用于针对每帧图像，将该帧图像的图像特征输入已训练的U型图神经网络，以由所述U型图神经网络基于图像特征获得对应的人体3D网格参数；所述视频为包含人的视频；

视频模块，用于将每一人体3D网格参数按照图像帧的时序次序组合并输入到已训练的残差时序图网络中，以由所述残差时序图网络基于时序对每一人体3D网格参数进行优化，得到优化后的每一人体3D网格参数。

在本申请实施例中，在获取到视频中每帧图像的图像特征后，通过U型图神经网络处理每帧图像的图像特征，回归得到图像级别的人体3D网格参数，然后通过残差时序图网络基于各帧时序优化每一人体3D网格，使得优化后的人体3D网格所表示的人体形状与图像中的人体形状相符。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明根据一示例性实施例示出的一种3D人体网格获取方法的实施例流程图；

图2为本发明示出的一种U型图神经网络的结构图；

图3为本发明示出的一种3D人体网格获取总体结构图；