[发明专利]采用循环神经网络依据骨骼形态判断的人体动作检测方法

权利要求书

1.采用循环神经网络依据骨骼形态判断的人体动作检测方法，其特征在于，包括以下步骤，

步骤1：根据目标检测需要，采集视频图像，判断图像中是否存在目标，若存在目标，则执行步骤2，否则重复执行步骤1；

步骤2：从视频图像中提取关键帧；

步骤3：根据关键帧对目标进行姿态估计，得到全身骨骼形态以及骨骼节点集；

步骤4：对骨骼节点集进行分区、分类，分别确定骨骼节点的权值，得到身体部位骨骼形态；

步骤5：采用图卷积神经网络将身体部位的骨骼形态和全身骨骼形态进行特征融合；

步骤6：将步骤5得到的融合特征输入循环神经网络，融合前后时刻的时序信息；

步骤7：将循环神经网络输出的图像特征输入分类器，得到当前时刻的动作分类结果。

2.根据权利要求1所述的采用循环神经网络依据骨骼形态判断的人体动作检测方法，其特征在于，步骤1包括以下子步骤：

步骤1.1：利用广角摄像机拍摄视频，从视频流截取获得原始图像样本；

步骤1.2：原始图像样本作为目标检测网络的输入，通过卷积操作得到图像的特征，判断图像中是否有人物存在，若有人物存在，则执行步骤2；否则执行步骤1.1。

3.根据权利要求2所述的采用循环神经网络依据骨骼形态判断的人体动作检测方法，其特征在于，步骤4中，所述对骨骼节点进行分区，将骨骼节点划分为头部节点、躯干节点、左臂节点、右臂节点、左腿节点和右腿节点。

4.根据权利要求3所述的采用循环神经网络依据骨骼形态判断的人体动作检测方法，其特征在于，步骤3得到骨骼节点集G(N_i, A)，N_i表示骨骼节点，A表示骨骼节点的邻接矩阵，邻接矩阵保存骨骼节点之间的连接关系。

5.根据权利要求4所述的采用循环神经网络依据骨骼形态判断的人体动作检测方法，其特征在于，采用注意力增强的方式，以突出对目标检测结果影响大的骨骼节点的作用，具体包括：1）对不同身体部位的骨骼节点赋予不同的权值，增大动作幅度大的骨骼节点的权值；2）训练过程中，通过邻接矩阵的先验矩阵对具有连接关系的骨骼节点赋予差异化的权值，并对不连接但是因动作变化而有关联关系的骨骼节点赋予相应的权值。

6.根据权利要求5所述的采用循环神经网络依据骨骼形态判断的人体动作检测方法，其特征在于，步骤4包括以下子步骤：

步骤4.1：对骨骼节点进行分区；

步骤4.2：根据骨骼节点活动能力，将骨骼节点分为重心节点、临近重心节点和普通节点3类；

步骤4.3：分别对重心节点、临近重心节点和普通节点赋予不同的权值。