[发明专利]人体姿态预测方法、装置、设备及存储介质

权利要求书

1.一种人体姿态预测方法，其特征在于，所述方法包括：

通过基本神经网络对输入的目标图像进行预测，得到人体关键点的初始预测图，人体图神经网络中包括卷积核和门控循环单元；

将所述人体关键点的初始预测图和人体结构图输入人体图神经网络，所述人体结构图中的每个节点分别对应一个人体关节，每条边表示连接相邻的人体关节；

通过所述人体图神经网络采用所述人体关键点的初始预测图对所述人体结构图进行初始化，得到初始化后的人体结构图；

通过所述人体图神经网络对所述初始化后的人体结构图进行迭代预测，包括对所述人体结构图中的每个节点，在每次迭代更新前通过所述卷积核对所述节点的相邻节点进行信息搜集，得到相邻节点信息；

通过所述门控循环单元根据所述相邻节点信息对所述节点的状态进行更新，所述门控循环单元用于挖掘所述人体结构图中相邻节点之间的空间信息；

经过T次更新后，将门控循环单元的输出结果和初始预测图进行叠加，得到最终预测图，所述最终预测图包括预测出的人体姿态。

2.根据权利要求1所述的方法，其特征在于，所述通过所述人体图神经网络采用所述人体关键点的初始预测图对所述人体结构图进行初始化，得到初始化后的人体结构图，包括：

对于所述人体结构图中的每个节点，采用与所述节点对应的人体关键点的初始预测图作为所述节点的输入进行初始化，得到初始化的人体结构图；

其中，所述人体关键点包括：头、脖、肩、手肘、手腕、腰部、臀部、胯部、膝盖和脚腕中的至少一种。

3.根据权利要求1所述的方法，其特征在于，所述基本神经网络包括多阶段预测融合网络，所述多阶段预测融合网络包括n个预测阶段，n为正整数；

所述通过基本神经网络对输入的目标图像进行预测，得到人体关键点的初始预测图，包括：

获取所述目标图像在所述基本神经网络的第i个预测阶段的第i个预测结果，i为起始值为1的正整数；

将所述第i个预测结果通过1x1卷积核进行卷积处理以及非线性处理，得到处理后的第i个预测结果；

将所述第i个预测结果输入所述基本神经网络的第i+1个预测阶段，得到第i+1个初始预测结果；

将所述处理后的第i个预测结果和所述第i+1个初始预测结果进行元素相加，得到第i+1个预测结果；

重复上述过程，直至i+1等于n时将第n个预测结果确定为所述人体关键点的初始预测图。

4.根据权利要求3所述的方法，其特征在于，所述将所述第i个预测结果通过1x1卷积核进行卷积处理以及非线性处理，得到处理后的第i个预测结果，包括：

将所述第i个预测结果通过1x1卷积核进行卷积处理，得到卷积结果；

将所述卷积结果进行批规范化得到规范化结果；

将所述规范化结果进行非线性处理，得到处理后的第i个预测结果。

5.根据权利要求1至4任一所述的方法，其特征在于，所述方法还包括：

获取训练集，所述训练集中的每个样本图像对应有标定结果；

将所述样本图像输入所述基本神经网络和所述人体图神经网络得到预测结果；

计算所述预测结果和所述标定结果的欧几里得距离，根据所述欧几里得距离对所述基本神经网络和所述人体图神经网络中的参数进行训练。