[发明专利]一种人体部位关键点的定位方法及系统

权利要求书

1.一种人体部位关键点的定位方法，其特征在于，包括

S1.对包含人体部位的图像进行预处理；

S2.将所述步骤S1预处理后的图像输入至空间结构表征网络模块中的卷积神经网络分支获取关键点热力图，并对所述关键点热力图进行解码获得关键点的初始坐标；

通过所述空间结构表征网络模块中的连接层将所述卷积神经网络分支中各阶段的特征图进行卷积获得对应的各阶段的中继热力图，并将所述各阶段的中继热力图进行编码和解码生成对应的各阶段的节点特征和中继关键点坐标；

将所述各阶段的节点特征和中继关键点坐标分别输入至所述空间结构表征网络模块中的图卷积神经网络分支中对应的各阶段，以获得关键点的坐标补偿；

S3.根据所述关键点的初始坐标和所述关键点的坐标补偿计算获得关键点的最终坐标；

所述图卷积神经网络分支中图卷积层的输出为：

J_out＝σ(fc₁(σ((A^kw⊙A)J_inW))+fc₂(J_in))

其中，fc₁与fc₂是相互间不共享的全连接层；A为邻接矩阵；W为学习参数矩阵；J_in为输入的关键点空间坐标信息；A^kw为一个关键点可感知的导向矩阵，且A^kw＝fc(repeat(H_out))，repeat(·)函数表示复制特征图并把它们级联产生一个的矩阵，这一矩阵通过一个全连接层和一个批归一化产生A^kw；

H_out满足如下：

其中，H_in和G_in为骨骼结构图卷积层的输入，abs(·)表示取绝对值，[·，·]表示级联操作，split表示按通道划分特征；H_out和G_out为输出的基于肢体和基于背景的特征；(1：K)表示划分出第1到第K个通道，(K+1)表示第(K+1)个通道。

2.如权利要求1所述的人体部位关键点的定位方法，其特征在于，所述步骤S1的预处理包括：

在数据集ImageNet上完成对卷积神经网络分支的预训练；

利用检测器将图像中的人体部位一一分别检测出来，并进行数据增强。

3.如权利要求1所述的人体部位关键点的定位方法，其特征在于，所述卷积神经网络分支包括HRNet或SimpleBaseline-152。

4.如权利要求3所述的人体部位关键点的定位方法，其特征在于，所述HRNet包括4个阶段，且按照空间分辨率大小分为四层，从上到下四层的空间分辨率大小依次为原图尺寸大小的1/4，1/8，1/16，1/32。

5.如权利要求1所述的人体部位关键点的定位方法，其特征在于，所述图卷积神经网络分支包括SemGCN。

6.如权利要求1所述的人体部位关键点的定位方法，其特征在于，所述空间结构表征网络模块的训练损失函数为：

其中，γ为超参数，M为卷积神经网络分支或图卷积神经网络分支的阶段数，表示第k阶段卷积神经网络的损失函数，表示第k阶段图卷积神经网络的损失函数。

7.如权利要求1所述的人体部位关键点的定位方法，其特征在于，所述人体部位包括：人体骨骼、人脸、人体手掌。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任一项所述的人体部位关键点的定位方法。

9.一种人体部位关键点的定位系统，其特征在于，包括：

预处理模块：用于对包含人体部位的图像进行预处理；

空间结构表征网络模块，包括：

卷积神经网络分支：用于输入预处理后的图像以获取关键点热力图，并对所述关键点热力图进行解码获得关键点的初始坐标；

连接层：用于连接卷积神经网络分支和图卷积神经网络分支的各阶段，将所述卷积神经网络分支中各阶段的特征图进行卷积获得对应的各阶段的中继热力图，并将所述各阶段的中继热力图进行编码和解码生成对应的各阶段的节点特征和中继关键点坐标；

图卷积神经网络分支：用于输入各阶段的节点特征和中继关键点坐标以获得关键点的坐标补偿；

最终坐标计算模块：用于根据所述关键点的初始坐标和所述关键点的坐标补偿计算获得关键点的最终坐标；

所述图卷积神经网络分支中图卷积层的输出为：

J_out＝σ(fc₁(σ((A^kw⊙A)J_inW))+fc₂(J_in))

其中，fc₁与fc₂是相互间不共享的全连接层；A为邻接矩阵；W为学习参数矩阵；J_in为输入的关键点空间坐标信息；A^kw为一个关键点可感知的导向矩阵，且A^kw＝fc(repeat(H_out))，repeat(·)函数表示复制特征图并把它们级联产生一个的矩阵，这一矩阵通过一个全连接层和一个批归一化产生A^kw；

H_out满足如下：

其中，H_in和G_in为骨骼结构图卷积层的输入，abs(·)表示取绝对值，[·，·]表示级联操作，split表示按通道划分特征；H_out和G_out为输出的基于肢体和基于背景的特征；(1：K)表示划分出第1到第K个通道，(K+1)表示第(K+1)个通道。