[发明专利]三维人体姿态预测方法、装置、介质及设备

说明书

本申请的实施方式公开了一种三维人体姿态预测方法、神经网络训练方法、装置、电子设备、计算机可读存储介质及计算机程序，其中的三维人体姿态预测方法主要包括：获取待处理图像中的人体关键点信息以及人体关键点的深度前后关系；将所述人体关键点信息和人体关键点的深度前后关系提供给第一神经网络，经由所述第一神经网络执行三维人体姿态预测处理，以获取三维人体姿态预测结果；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。本申请提供的技术方案有利于提高三维人体姿态预测的准确性，从而有利于避免由于三维人体姿态预测错误而对互动娱乐以及行为分析等产生不良影响。

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种三维人体姿态预测方法、三维人体姿态预测装置、神经网络训练方法、神经网络训练装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

三维人体姿态预测在互动娱乐以及行为分析等技术领域中，发挥着一定的作用。

在三维人体姿态预测过程中，往往会存在预测错误，例如，手臂应该位于身体前侧，而预测的结果包括：手臂位于身体后侧。三维人体姿态预测错误会对互动娱乐以及行为分析等产生不良影响。如何提高三维人体姿态预测的准确性，是一个值得关注的技术问题。

发明内容

本申请实施方式提供一种三维人体姿态预测以及训练神经网络的技术方案。

根据本申请实施方式其中一个方面，提供一种三维人体姿态预测方法，所述方法包括：获取待处理图像中的人体关键点信息以及人体关键点的深度前后关系；将所述人体关键点信息和人体关键点的深度前后关系提供给第一神经网络，经由所述第一神经网络执行三维人体姿态预测处理，以获取三维人体姿态预测结果；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。

在本申请一实施方式中，所述人体关键点信息包括：人体关键点在待处理图像中的二维坐标。

在本申请又一实施方式中，所述人体关键点的深度前后关系包括：表征一个人体关键点位于另一个人体关键点之前或之后的信息。

在本申请再一实施方式中，所述人体关键点的深度前后关系包括：人体关键点的深度前后关系矩阵；其中，所述矩阵的行数和列数为人体关键点的数量，所述矩阵的第n行表示第n个人体关键点，所述矩阵的第m列表示第m个人体关键点，所述矩阵第n行第m列的数值表示第n个人体关键点在第m个人体关键点之前或之后的概率值。

在本申请再一实施方式中，所述人体关键点的深度前后关系的获取过程包括：将所述待处理图像提供给第二神经网络，经由所述第二神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系。

在本申请再一实施方式中，所述执行三维人体姿态预测处理包括：根据人体关键点的深度前后关系信息预测人体关键点深度值；根据人体关键点深度值和人体关键点信息预测三维人体姿态。

在本申请再一实施方式中，所述三维人体姿态预测结果包括：人体关键点在三维空间中的坐标。

在本申请再一实施方式中，所述第一神经网络是利用多条包含有人体关键点样本信息以及人体关键点的深度前后关系样本信息的数据样本训练而成的。

根据本申请实施方式的其中再一个方面，提供一种神经网络的训练方法，用于训练神经网络的数据样本包括：人体关键点样本信息、人体关键点的深度前后关系样本信息以及用于监督的标注信息，所述训练方法包括：将数据样本中的人体关键点样本信息以及人体关键点的深度前后关系样本信息，提供给待训练的第一神经网络，经由所述待训练的第一神经网络执行三维人体姿态预测处理；利用所述数据样本中的标注信息对所述待训练的第一神经网络进行监督学习。