[发明专利]基于动态局部-全局图卷积神经网络的动作识别方法

说明书

本发明公开了一种基于动态局部‑全局图卷积神经网络的动作识别方法，利用注意力机制为三个分区策略下的邻接矩阵动态的分配权重，并将这三个邻接矩阵加权得到可学习的变换矩阵，不同的权重参数编码了在空间维度上不同的特征，增加了在骨骼图中特征建模的表达能力；通过使用改进的Transformer自我注意力来融合局部和全局信息；引入通道注意力，使模型更加关注重要的通道特征，进一步提高了模型的性能，使分类预测结果更加准确。本发明增加了特征建模的表达能力，并通过通道注意力模块有效地增强对更重要的特征信息提取能力，从而大幅提高了动作识别的准确率。

技术领域

本发明涉及图卷积网络，特别是一种基于动态局部-全局图卷积神经网络的动作识别方法。

背景技术

人类行为识别是计算机视觉领域的一个热门话题。尤其是基于骨架的动作识别越来越受到人们的重视。与RGB数据相比，骨架数据被认为是一种更为稳健的人体动作动力学表示。同时，骨架数据在数据大小方面非常紧凑。这使得设计更轻量级的模型成为可能。骨骼数据可以很容易地由深度相机(如动力学)捕获，或使用人体姿势估计算法进行估计。其中基于时空图卷积的动作识别算法取得了较好的效果。

现有的基于图卷积网络的动作识别算法只构造人体的自然连接图，忽视了非物理连接关节点间的联系，这使得无法向图中添加新的连接。而图的拓扑结构是由邻接矩阵和掩码决定的，其邻接矩阵对于不同动作样本是固定的，它不能在训练过程中得到优化，边的权重得不到更新。这影响了对不同类别的动作差异性判别。另外，之前的图卷积网络是采用非局部操作来度量任意两个骨架关节之间的依赖程度。这种方法构造的图具有一定的局限性：可能无法捕捉局部空间关系中两两关节之间的微妙联系。此外，大多数基于图卷积网络的方法忽视了不同框架和通道对动作识别的重要性不同。在骨架序列中，应更加关注具有代表性的动作特征框架。

发明内容

发明目的：本发明的目的是提供一种基于动态局部-全局图卷积神经网络的动作识别方法，从而提高动作识别的准确率。

技术方案：本发明所述的一种基于动态局部-全局图卷积神经网络的动作识别方法，原理为：本发明创新内容在于利用注意力机制为三个分区策略下的邻接矩阵动态的分配权重，并将这三个邻接矩阵加权得到可学习的变换矩阵。不同的权重参数编码了在空间维度上不同的特征，增加了在骨骼图中特征建模的表达能力；另外通过使用改进的Transformer自我注意力来融合局部和全局信息。局部操作将骨骼节点数进行分块处理，聚焦每块区域的邻接节点中最相关的部分。通过结合不同相邻点的空间位置和特征属性，为其分配合适的注意力权重。全局操作将自注意力应用于每一帧，独立计算每帧中每对关节之间的相关性，以提取嵌入身体各部分之间关系的低级特征；此外，引入通道注意力，使模型更加关注重要的通道特征，进一步提高了模型的性能，使分类预测结果更加准确。

本发明包括以下步骤：

(1)使用姿态估计算法将视频数据先处理成人体骨骼结构数据，原始的骨架序列是用每帧中所有人体关节点的三维坐标表示；

(1.1)对于一个含有N个节点和T帧的骨架序列，在骨架序列上构建一个无向图G＝(V,E)；其中V＝{v_ti|t＝1,2,…,T,i＝1,2,…,N}代表节点集合，t表示帧数，i表示节点，每个节点的特征信息由空间坐标(x,y,z)组成的特征向量表示，E是E_s和E_t组成的边集合，E_s表示在相同帧上的关节自然连接，是帧内连接；E_t表示同一个关节点在相邻帧上的连接，是帧间连接；

(1.2)用NTU+RCB+D数据集将人体定义为25个关键关节点的三维坐标，在得到时空图的同时，还得到每个关节点的坐标及其置信度，将这些数据存储到文本文件中供后续使用。