[发明专利]一种基于图卷积神经网络的人类动作识别方法

权利要求书

1.一种基于图卷积神经网络的人类动作识别方法，其特征在于，包括如下步骤：

步骤1：准备人类动作视频数据，并进行标注，并根据不同种类的动作对视频标签进行标注；

步骤2：使用openpose姿态估计算法对人类动作视频数据进行骨骼关键点特征的提取，然后通过骨骼点主流网络计算相邻帧骨骼关键点变化速度并进行特征拼接；对骨骼关键点进行筛选并通过角度分支网络计算筛选的骨骼关键点的夹角并进行特征拼接；

步骤3：将拼接好的数据传入图神经网络；

步骤4：将图卷积从空间域扩展到时间域；

步骤5：使用一个交叉注意力模型来增强网络的性能；

步骤6：构建由九个时空卷积模块加全局池化层，和Softmax层组成的图卷积神经网络，全局池化层作用为对图结构中的节点特征进行汇总，以将节点级的特征升级为图级别的特征，再通过Softmax层输出人类动作视频中人的动作编号。

2.根据权利要求1所述的基于图卷积神经网络的人类动作识别方法，其特征在于，所述步骤2具体包括：

步骤2.1：首先对视频进行裁剪，保证每个视频中人类位于视频中央；

步骤2.2：使用openpose姿态估计算法进行人体骨骼关键点提取，对视频S取15个等分点S＝(T1,...,T2,...,T3,...,T4,...,T5,...,T6,....,T15)，将每个点的骨骼关键点数据保存下来，每次提取出18个骨骼关键点，分别代表人体的18个部位，将单帧视频的长度设置为L，视频宽度设为W，对提取的骨骼关键点坐标进行归一化处理，用Tn表示第n帧的骨骼关键点数据，那么归一化后的Tn：

其中x_n为第n个骨骼关键点的横坐标，y_n为第n个骨骼关键点的纵坐标，Tn即为归一化后的第n帧的骨骼关键点坐标；

步骤2.3：计算相邻帧关键点变化速度，速度Vn：

V_n＝((x_1n-x_1n-1,y_1n-y_1n-1),(x_2n-x_2n-1,y_2n-y_2n-1),...,(x_18n-x_18n-1,y_18n-y_18n-1))；其中x和y的具体意义与步骤2.2中相同；获得速度V之后进行特征拼接，拼接后的总特征Dn：

D_n＝Cancate(T_n,T_n′,V_n)；

其中T_n和T'_n分别表示在n时刻侧面和前面获得的归一化骨骼关键点坐标，Cancate函数表示对括号内变量进行拼接；

步骤2.4：对openpose提取的的骨骼关键点进行筛选，保存左膝盖、右膝盖、左腰、右腰、左肩膀、右肩膀、左手肘、右手肘；

步骤2.5：计算夹角：

(1)膝盖：

(2)腰：

(3)肩膀：

(4)手肘：