[发明专利]人体关节点检测方法、装置、系统和存储介质

权利要求书

1.一种人体关节点检测方法，其特征在于，所述方法包括：

获取待处理图像并从所述待处理图像中提取人体框图像；

利用训练好的神经网络对所述人体框图像进行关节点检测，以生成人体关节点检测结果，所述神经网络包括全局网络和精炼网络；所述神经网络的训练包括：

计算所述全局网络的全局损失，并将所述全局损失回传至所述全局网络以优化所述全局网络的参数；

计算所述精炼网络的难关节点的损失，并将所述难关节点的损失回传至所述精炼网络和所述全局网络以优化所述神经网络的参数；

其中，所述难关节点包括：损失值由高到低排序的全部关节点中的前M个关节点，其中M为自然数。

2.根据权利要求1所述的方法，其特征在于，所述全局网络为U型金字塔结构的神经网络，所述全局网络接收所述人体框图像并输出第一特征图，所述第一特征图为金字塔结构的多层卷积特征图。

3.根据权利要求2所述的方法，其特征在于，所述精炼网络为包括残差卷积块的神经网络，所述精炼网络接收所述全局网络输出的所述第一特征图并输出第二特征图。

4.根据权利要求3所述的方法，其特征在于，所述精炼网络包括多层残差卷积块单元、上采样单元和拼接单元，其中：

每层残差卷积块单元包括不同数量的所述残差卷积块，不同层的残差卷积块单元接收不同尺寸的所述第一特征图，并输出不同尺寸的所述第二特征图；

所述上采样单元将所述不同尺寸的第二特征图变换为相同尺寸的特征图；以及

所述拼接单元将所述相同尺寸的特征图拼接为第三特征图。

5.根据权利要求4所述的方法，其特征在于，所述生成人体关节点检测结果包括：

基于所述第三特征图生成与各个关节点各自对应的热力图；以及

针对每个热力图，取该热力图中具有最大值的点的坐标作为与该热力图对应的关节点的预测坐标。

6.根据权利要求4所述的方法，其特征在于，所述生成人体关节点检测结果包括：

基于所述第三特征图生成每个关节点的预测坐标。

7.根据权利要求1所述的方法，其特征在于，所述M的取值为所述全部关节点数目的一半并取整。

8.根据权利要求1-6中的任一项所述的方法，其特征在于，所述方法还包括：

在对所述人体框图像进行关节点检测之前，将所述人体框图像调整为预定尺寸。

9.根据权利要求1-6中的任一项所述的方法，其特征在于，所述从所述待处理图像中提取人体框图像包括：

从所述待处理图像中检测人的位置，输出人体检测框；以及

基于所述人体检测框对所述待处理图像进行抠图以得到所述人体框图像。

10.一种人体关节点检测装置，其特征在于，所述装置包括：

提取模块，用于获取待处理图像并从所述待处理图像中提取人体框图像；以及

关节点检测模块，用于利用训练好的神经网络对所述提取模块提取的所述人体框图像进行关节点检测，以生成人体关节点检测结果，所述神经网络包括全局网络和精炼网络；所述神经网络的训练包括：

计算所述全局网络的全局损失，并将所述全局损失回传至所述全局网络以优化所述全局网络的参数；

计算所述精炼网络的难关节点的损失，并将所述难关节点的损失回传至所述精炼网络和所述全局网络以优化所述神经网络的参数；

其中，所述难关节点包括：损失值由高到低排序的全部关节点中的前M个关节点，其中M为自然数。

11.一种人体关节点检测系统，其特征在于，所述系统包括存储装置和处理器，所述存储装置上存储有由所述处理器运行的计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1-9中的任一项所述的人体关节点检测方法。

12.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-9中的任一项所述的人体关节点检测方法。