[发明专利]一种基于选择性超图卷积网络的骨架动作识别方法

权利要求书

1.一种基于选择性超图卷积网络的骨架动作识别方法，用于对输入的骨架动作进行识别，其特征在于，具体包括以下步骤：

步骤1：选择训练数据集；

步骤2：构建选择性超图卷积网络；

步骤3：对训练数据集中的数据进行预处理；

步骤4：对将要训练的选择性超图卷积网络模型的所有参数进行随机初始化操作；

步骤5：使用预处理后的训练数据集训练选择性超图卷积网络模型，得到最后的分析结果；

步骤6：使用选取数据集对模型进行验证；

所述选择性超图卷积网络具体包括依次连接的多个选择性时空超图卷积块，还包括与选择性时空超图卷积块连接的全局平均池化层和全连接分类器；一个所述选择性时空超图卷积块包括依次连接的尺度选择超图卷积网络和帧选择时间卷积网络；

所述尺度选择超图卷积网络包括关节尺度图卷积网络、部位尺度超图卷积网络和身体尺度超图卷积网络；

所述帧选择时间卷积网络包括帧重要性计算分支网络、帧特征聚合分支网络和残差分支网络；

所述步骤5的具体操作为：

步骤5.1：将经过预处理后的训练数据分别输入到第一个选择性时空超图卷积块中的关节尺度图卷积网络、部位尺度超图卷积网络和身体尺度超图卷积网络中，得到节点尺度特征、部位尺度特征和身体尺度特征；

步骤5.2：将得到的节点尺度特征、部位尺度特征和身体尺度特征进行元素级相加，得到相加后的尺度特征U；

步骤5.3：将相加后的尺度特征U进行全局平均池化得到全局上下文信息，然后使用全连接网络的ReLU激活函数对全局上下文信息进行降维和权重分配，得到最终的全局特征z；

步骤5.4：计算选择权重值，通过全局特征z和选择权重值，计算得到经过选择的特征；具体操作为：

首先，使用沿着通道维度的软注意力机制，基于全局特征z分别计算关节尺度图卷积网络、部位尺度超图卷积网络和身体尺度超图卷积网络三个分支下的选择权重值，所述沿着通道维度的软注意力机制表现为对应的三个基于不同的全连接层的Softmax函数；

然后，通过对应的权重得到对应的带有选择权重值的关节尺度、带有选择权重值的部位尺度、带有选择权重值的身体尺度，将带有选择权重值的关节尺度、带有选择权重值的部位尺度、带有选择权重值的身体尺度相加得到经过选择的特征；

具体计算公式如下：

上式为关节尺度图卷积网络、部位尺度超图卷积网络和身体尺度超图卷积网络三个分支下的选择权重值的计算公式；式中，、和分别表示关节尺度的选择权重值、部位尺度的选择权重值、身体尺度的选择权重值；FC₁（▪）、FC₂（▪）、FC₃（▪）分别表示不同的全连接层函数；z为全局特征；

上式为经过选择的特征的计算公式，式中为经过选择的特征，、和分别是节点尺度特征、部位尺度特征以及身体尺度特征；

步骤5.5：在帧选择时间卷积网络中对于经过选择的特征进行以下操作：

首先，将经过选择的特征输入到帧特征聚合分支网络中，采用步长时间卷积进行时序特征聚合得到聚合后的帧特征；

然后，判断聚合后的帧特征是否需要进行池化处理或者减少冗余度，对于判断为需要的，则采用帧重要性计算分支网络进行重要性计算，筛选出关键帧的聚合后的帧特征作为输出到残差分支网络的聚合后的帧特征进行后续操作，所述关键帧即重要性分数权重高的帧；对于判断为不需要的，直接输出聚合后的帧特征到残差分支网络进行后续操作；

最后，对送入到残差分支网络中的聚合后的帧特征，与残差分支网络的残差分支特征相加得到最终的输出特征X_out；

步骤5.6：将第一个选择性时空超图卷积块输出的输出特征X_out再依次送入到后续的多个选择性时空超图卷积块中进行如步骤5.1-步骤5.5记载的处理后，依次经过全局平均池化层和全连接分类器的处理输出最后的识别分析结果；

一个选择性时空超图卷积块的尺度选择超图卷积网络中的三个所述关节尺度图卷积网络、部位尺度超图卷积网络和身体尺度超图卷积网络的具体计算方法为：

式中，是激活函数；是关节尺度图卷积网络的可学习的节点聚合矩阵，是部位尺度超图卷积网络的可学习的节点聚合矩阵；是身体尺度超图卷积网络的可学习的节点聚合矩阵；、和分别是关节尺度图卷积核、部位尺度超图卷积核以及身体尺度超图卷积核；、和分别是输出的节点尺度特征、部位尺度特征以及身体尺度特征；表示关节尺度骨架图的子图个数；X为输入的原始的节点特征。