[发明专利]3D人体网格获取方法及装置

权利要求书

1.一种3D人体网格获取方法，其特征在于，所述方法包括：

获取视频中每帧图像的图像特征，并针对每帧图像，将该帧图像的图像特征输入已训练的U型图神经网络，以由所述U型图神经网络基于图像特征获得对应的人体3D网格参数；所述视频通过拍摄人体获得；

将每一人体3D网格参数按照图像帧的时序次序组合并输入到已训练的残差时序图网络中，以由所述残差时序图网络基于时序对每一人体3D网格参数进行优化，得到优化后的每一人体3D网格参数；

其中，获取视频中每帧图像的图像特征，包括：

将所述视频分解为单帧图像，并分别输入预设的人体检测系统，以由所述人体检测系统输出包含人体候选框的图像；将每帧图像包含的候选框进行尺度变换，使得人体在候选框中间位置；分别将包含候选框的单帧图像输入已训练的特征提取网络，以由所述特征提取网络输出图像的图像特征。

2.根据权利要求1所述的方法，其特征在于，所述U型图神经网络基于图像特征获得对应的人体3D网格参数，包括：

所述U型图神经网络中的输入模块将图像特征与第一预设规模的人体三维模型SMPL的模板网格中每个顶点的3D坐标进行拼接，获得每个顶点的初始特征并作为第一预设规模的图特征，将该图特征输入到U型图神经网络中两个串联的第一预设规模的第一图神经网络模块；

两个串联的第一图神经网络模块对输入的图特征依次进行处理得到新的第一预设规模的图特征，并输入到U型图神经网络中下采样模块和拼接模块；

下采样模块将新的第一预设规模的图特征转化为第二预设规模的图特征，并将第二预设规模的图特征输入到U型图神经网络中四个串联的第二预设规模的图神经网络模块；

四个串联的第二预设规模的图神经网络模块对输入的图特征依次进行处理得到新的第二预设规模的图特征，并输入到U型图神经网络中上采样模块；

上采样模块将新的第二预设规模的图特征恢复成第一预设规模的图特征，并输入到所述拼接模块；

拼接模块将新的第一预设规模的图特征与恢复后的第一预设规模的图特征进行拼接，获得拼接后的第一预设规模的图特征并输入到U型图神经网络中两个串联的第一预设规模的第二图神经网络模块；

两个串联的第二图神经网络模块对输入的图特征依次进行处理，得到最终的第一预设规模的图特征并输入到U型图神经网络中坐标回归器和相机坐标回归器；

坐标回归器回归出图特征中每个顶点的3D坐标，相机坐标回归器回归出图特征对应的相机参数；

将每个顶点的3D坐标和相机参数作为该帧图像对应的人体3D网格参数；

其中，第一预设规模大于第二预设规模。

3.根据权利要求1所述的方法，其特征在于，所述残差时序图网络基于时序对每一人体3D网格参数进行优化，得到优化后的每一人体3D网格参数，包括：

所述残差时序图网络基于时序获得每一人体3D网格参数对应的优化矩阵，并通过残差链接将每一人体3D网格参数与对应的优化矩阵进行相加，获得优化后的每一人体3D网格参数。

4.根据权利要求1所述的方法，其特征在于，针对U型图神经网络的训练过程包括：

获取训练样本集，所述训练样本集中每一训练样本均标注有标签，所述标签包括人体3D网格点坐标、3D关键点坐标、2D关键点坐标，或者只有2D关键点坐标；

利用所述训练样本集中的每一训练样本训练已构建的U型图神经网络，直至收敛；

其中，所述U型图神经网络的损失值由3D网格点损失、3D关键点损失以及2D关键点损失组成。

5.根据权利要求1所述的方法，其特征在于，针对残差时序图网络的训练过程包括：

获取包含人的训练视频，所述训练视频中每帧图像中的人体均标注有人体3D网格点坐标、3D关键点坐标、2D关键点坐标；

利用所述训练视频训练已构建的残差时序图网络，直至收敛；

其中，所述残差时序图网络的损失值由3D网格点损失、3D关键点损失组成。