[发明专利]基于通道注意力的轻量化图卷积人体骨架动作识别方法

说明书

本发明涉及一种基于通道注意力的轻量化图卷积人体骨架动作识别方法，包括以下步骤：S1：获取视频影像中人体骨架的骨架序列信息；S2：添加关节点索引信息，并计算骨架关节点的邻接矩阵；S3：利用邻接矩阵以及引入通道注意力机制的残差GCN网络提取骨架序列的空间特征，所述的邻接矩阵在使用时进行随机失活处理；S4：添加帧索引信息，并进行最大池化处理；S5：利用一阶CNN网络提取骨架序列的时间特征；S6：通过最大池化生成最终的特征序列，并得到识别分类结果，与现有技术相比，本发明具有鲁棒性、实时性和准确性高等优点。

技术领域

本发明涉及计算机视觉和深度学习领域，尤其是涉及一种基于通道注意力的轻量化图卷积人体骨架动作识别方法。

背景技术

人体动作识别是计算机视觉领域的重要研究方向，有着广阔的应用场景和市场价值，比如：异常行为监控、用户行为分析等。骨架序列数据是一种抽象化的人体动作数据，利用3D坐标、关节索引和关节连接关系表示了人体各个关键部位的运动。早期的骨架动作识别方法中，大多采用手工提取的特征，利用特征映射等方式对数据进行处理整合。深度学习的方法兴起后，利用神经网络对骨架的时空信息进行建模渐渐的变为主流，相继出现了基于RNN、CNN、GCN等各种方法，并且效果明显优于基于手工特征的方法。

基于RNN递归神经网络的方法主要是利用LSTM/GRU等模型建模骨架序列的时间动态变化。但这种方法只是将每一帧的关节三维坐标信息以某种顺序排列成一个向量输入到递归神经网络中，并对不同的关节进行区分，也就丢失了重要的空间信息。CNN卷积神经网络在图像处理领域愈发的火热，研究者通过将骨架信息编排成伪图片的形式，即将三维坐标(x,y,z)类比成图像中的三通道(R,G,B)，将时间序列和关节索引类比成图像的长宽。这样，通过基本的二维CNN卷积操作就能够将时间和空间的信息聚合起来，提取时空的联合特征。但是这样的数据组织无法表示关节之间的拓扑结构和连接关系，关节之间的相互影响也难以进行有效的建模。

用于骨架动作识别的GCN图卷积神经网络包括ST-GCN、AS-GCN和2S-AGCN。ST-GCN是利用GCN方法解决动作识别问题的开端，此方法使用时空图卷积网络不断的聚合相邻关节和相邻帧之间的特征，实现了对于人体关节自然连接关系的建模。AS-GCN对于ST-GCN中的问题进行了改进，发现自然连接较远的关节之间也会有隐连接，如走路时手和脚的摆动。所以AS-GCN将训练分为两路，一路侧重于探索结构之间的连接，另一路侧重于探索动作导致的节点之间的隐连接。2S-AGCN中提出了自适应图卷积方法，将邻接矩阵分为三部分的叠加：原始连接、训练出来的关节相关性、根据每个输入计算的关节相似性，更加灵活的对关节之间的关系进行了建模。

如今利用图卷积神经网络的骨架动作识别方法仍在不断的发展中，对于建模节点-骨架关系、时空联合特征以及轻量化网络等方面，仍需要进一步探索，以进一步提高骨架动作识别的鲁棒性、实时性和准确性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种鲁棒性好、实时性强和准确性高的基于通道注意力的轻量化图卷积人体骨架动作识别方法。

本发明的目的可以通过以下技术方案来实现：

一种基于通道注意力的轻量化图卷积人体骨架动作识别方法，包括以下步骤：

S1：获取视频影像中人体骨架的骨架序列信息；

S2：添加关节点索引信息，并计算骨架关节点的邻接矩阵；

S3：利用邻接矩阵以及引入通道注意力机制的残差GCN网络提取骨架序列的空间特征，所述的邻接矩阵在使用时进行随机失活处理；

S4：添加帧索引信息，并进行最大池化处理；

S5：利用一阶CNN网络提取骨架序列的时间特征；

S6：通过最大池化生成最终的特征序列，并得到识别分类结果。