[发明专利]人体关键点的深度前后关系预测方法、装置、介质及设备

说明书

本申请的实施方式公开了一种人体关键点的深度前后关系预测方法、神经网络训练方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的人体关键点的深度前后关系预测方法包括：获取待处理图像；将所述待处理图像提供给神经网络，经由所述神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。本申请提供的技术方案有利于提高三维人体姿态预测的准确性，从而有利于避免由于三维人体姿态预测错误而对互动娱乐以及行为分析等产生不良影响。

技术领域

本申请涉及计算机视觉技术，尤其是涉及一种人体关键点的深度前后关系预测方法、人体关键点的深度前后关系预测装置、神经网络训练方法、神经网络训练装置、电子设备、计算机可读存储介质以及计算机程序。

背景技术

三维人体姿态预测在互动娱乐以及行为分析等技术领域中，发挥着一定的作用。

在三维人体姿态预测过程中，往往会由于人体关键点的深度预测错误而导致三维人体姿态预测错误，例如，手臂应该位于身体前侧，而三维人体姿态预测结果可能会由于相应关键点的深度预测错误，而最终预测出手臂位于身体后侧。三维人体姿态预测错误会对互动娱乐以及行为分析等产生不良影响。如何提高三维人体姿态预测的准确性，是一个值得关注的技术问题。

发明内容

本申请实施方式提供一种人体关键点的深度前后关系预测以及训练神经网络的技术方案。

根据本申请实施方式其中一个方面，提供一种人体关键点的深度前后关系预测方法，所述方法包括：获取待处理图像；将所述待处理图像提供给神经网络，经由所述神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；其中，所述人体关键点的深度前后关系用于表示人体关键点之间的深度位置相对关系。

在本申请一实施方式中，所述获取待处理图像包括：获取待处理图像以及待处理图像的至少两个人体关键点的特征图；所述将所述待处理图像提供给神经网络包括：将所述待处理图像以及所述人体关键点的特征图提供给神经网络。

在本申请又一实施方式中，所述人体关键点的特征图包括：人体关键点的热点图。

在本申请再一实施方式中，所述经由所述神经网络执行人体关键点的深度前后关系预测处理包括：经由所述神经网络根据所述待处理图像以及所述人体关键点的特征图，形成至少两个人体关键点的特征值，并获取特征值之间的差值，基于所述差值形成人体关键点的深度前后关系。

在本申请又一实施方式中，所述人体关键点的深度前后关系包括：表征一个人体关键点位于另一个人体关键点之前或之后的信息。

在本申请又一实施方式中，所述表征一个人体关键点位于另一个人体关键点之前或之后的信息包括：表征一个人体关键点位于另一个人体关键点之前或之后的概率值。

在本申请又一实施方式中，所述人体关键点的深度前后关系包括：人体关键点的深度前后关系矩阵；其中，所述矩阵的行数和列数为人体关键点的数量，所述矩阵的第n行表示第n个人体关键点，所述矩阵的第m列表示第m个人体关键点，所述矩阵第n行第m列的数值表示第n个人体关键点在第m个人体关键点之前或之后的概率值。

在本申请又一实施方式中，所述神经网络是利用多条设置有人体关键点的深度前后关系标注信息的图像样本预先训练而成的；其中，所述人体关键点的深度前后关系标注信息表示人体关键点之间的深度位置相对关系。

根据本申请实施方式的其中再一方面，提供一种神经网络的训练方法，所述方法包括：获取图像样本；将所述图像样本提供给待训练的神经网络，经由所述待训练的神经网络执行人体关键点的深度前后关系预测处理，以获取人体关键点的深度前后关系；利用所述图像样本的人体关键点的深度前后关系标注信息对所述人体关键点的深度前后关系进行监督，以使所述待训练的神经网络进行监督学习。