[发明专利]人体关节点检测方法、装置、系统和存储介质

说明书

本发明提供了一种人体关节点检测方法、装置、系统和存储介质，所述人体关节点检测方法包括：获取待处理图像并从所述待处理图像中提取人体框图像；利用训练好的神经网络对所述人体框图像进行关节点检测，以生成人体关节点检测结果，所述神经网络包括全局网络和精炼网络。根据本发明实施例的人体关节点检测方法、装置、系统和存储介质基于包括全局网络和精炼网络的神经网络进行关节点检测，能够有效提高难关节点的检测精度，从而提高关节点检测的整体精度。

技术领域

本发明涉及图像识别技术领域，更具体地涉及一种人体关节点检测方法、装置、系统和存储介质。

背景技术

人体姿态估计技术在业界已有一定应用，例如Kinect游戏机中人体关节点的检测与识别。总体来说，该技术是较新的技术，有很大的潜在应用市场，如机器人、增强现实应用、虚拟现实应用、体育教育行业等。

传统的基于RGBD的人体关节点检测具有硬件要求较高、准确度不高、适用场景受限的缺点。最近几年，基于深度神经网络的发展，人体关节点检测的技术也得到了很大的发展，但是现有的基于深度神经网络的方法对于奇怪姿势、遮挡、或者背景复杂的关节点的检测普遍效果较差，有很大提高空间。

发明内容

本发明提出了一种关于人体关节点检测的方案，其基于包括全局网络和精炼网络的神经网络进行关节点检测，能够提高难关节点的检测精度，从而提高关节点检测的整体精度。下面简要描述本发明提出的关于人体关节点检测的方案，更多细节将在后续结合附图在具体实施方式中加以描述。

根据本发明一方面，提供了一种人体关节点检测方法，所述方法包括：获取待处理图像并从所述待处理图像中提取人体框图像；利用训练好的神经网络对所述人体框图像进行关节点检测，以生成人体关节点检测结果，所述神经网络包括全局网络和精炼网络。

在一个实施例中，所述全局网络为U型金字塔结构的神经网络，所述全局网络接收所述人体框图像并输出第一特征图，所述第一特征图为金字塔结构的多层卷积特征图。

在一个实施例中，所述精炼网络为包括残差卷积块的神经网络，所述精炼网络接收所述全局网络输出的所述第一特征图并输出第二特征图。

在一个实施例中，所述精炼网络包括多层残差卷积块单元、上采样单元和拼接单元，其中：每层残差卷积块单元包括不同数量的所述残差卷积块，不同层的残差卷积块单元接收不同尺寸的所述第一特征图，并输出不同尺寸的所述第二特征图；所述上采样单元将所述不同尺寸的第二特征图变换为相同尺寸的特征图；以及所述拼接单元将所述相同尺寸的特征图拼接为第三特征图。

在一个实施例中，所述生成人体关节点检测结果包括：基于所述第三特征图生成与各个关节点各自对应的热力图；以及针对每个热力图，取该热力图中具有最大值的点的坐标作为与该热力图对应的关节点的预测坐标。

在一个实施例中，所述生成人体关节点检测结果包括：基于所述第三特征图生成每个关节点的预测坐标。

在一个实施例中，所述神经网络的训练包括：计算所述全局网络的全局损失，并将所述全局损失回传至所述全局网络以优化所述全局网络的参数；计算所述精炼网络的难关节点的损失，并将所述难关节点的损失回传至所述精炼网络和所述全局网络以优化所述神经网络的参数；其中，所述难关节点包括：损失值由高到低排序的全部关节点中的前M个关节点，其中M为自然数。

在一个实施例中，所述M的取值为所述全部关节点数目的一半并取整。

在一个实施例中，所述方法还包括：在对所述人体框图像进行关节点检测之前，将所述人体框图像调整为预定尺寸。

在一个实施例中，所述从所述待处理图像中提取人体框图像包括：从所述待处理图像中检测人的位置，输出人体检测框；以及基于所述人体检测框对所述待处理图像进行抠图以得到所述人体框图像。