[发明专利]采用循环神经网络依据骨骼形态判断的人体动作检测方法

说明书

本发明涉及采用循环神经网络依据骨骼形态判断的人体动作检测方法，包括：根据目标检测需要，采集视频图像，判断图像中是否存在目标；从视频图像中提取关键帧；根据关键帧对目标进行姿态估计，得到全身骨骼形态以及骨骼节点集；对骨骼节点集进行分区、分类，分别确定骨骼节点的权值，得到身体部位骨骼形态；采用图卷积神经网络将身体部位的骨骼形态和全身骨骼形态进行特征融合；将得到的融合特征输入循环神经网络，融合前后时刻的时序信息；将循环神经网络输出的图像特征输入分类器，得到当前时刻的动作分类结果。本发明的检测方法抽离了背景图像的影响，结合人体骨骼关键节点变化的时空信息对动作进行检测，提高了识别的准确率，降低了误判率。

技术领域

本发明属于计算机视觉领域，具体涉及一种采用循环神经网络依据骨骼形态判断的人体动作检测方法。

背景技术

在现代社会的许多的工作场景中，不少工作仍然具备一定的危险性，由于缺乏必要的监督，工作人员在长期的工作中偶尔会放松警惕，没有按照规范着装穿戴，或者违背了工作过程中的规范操作步骤，由此发生一些对人的生安全产生威胁的情况。

近几年来，随着深度学习神经网络和计算机视觉技术的高速发展，在图像领域取得了许多可喜的进展，比如在目标识别领域已经能做到实时、快速、高效、准确的检测，因此带有时序的人体动作检测也得到了社会更多的关注，也因此出现了许多行为识别的检测方法。公开号为CN110569898A的中国专利“一种人体行为识别方法”是通过传感器数据采集，对采集的传感器数据预处理，再对人体行为特征提取，最后通过设置几组对比实验来选择最佳的分类器参数，最后根据选择的最佳参数设计性能最佳的分类器并进行实验，并使用该分类器识别一组待识别人体行为数据。该方法添加了传感器，会为工作人员增加额外的穿戴，可能在某些场景下并不适用。公布号为CN109002808B的中国专利“一种人体行为识别方法及系统”，可区分背景视频与包含人体行为视频并识别出其种类的网络,通过运用多任务深度学习方法训练3D卷积神经网络，将多种人体行为属性以及背景视频的固定连续帧数的帧块作为网络的输入,经过3D卷积神经网络训练后完成识别任务。该方法包含了对背景的提取识别，在同一背景下识别准确率高，但是泛化能力不够强，场景变化多则能力不够强。

发明内容

本发明的技术问题是现有的采用神经网络的动作识别方法复杂度高，计算量大，误报率高，并且很多方法对视频的时序特征的重视程度不够高，或者带有较强的图像背景信息，无法在大部分场景中适用。

本发明的目的是解决上述问题，提供一种采用循环神经网络依据骨骼形态判断的人体动作检测方法，提取出人体动作的骨骼特征图后，进行基于躯体的分割，对不同的模块用图卷积神经网络进行特征的提取，然后用循环神经网络预测最后的输出，由于循环神经网络的每个输出都与前面的输出具有联系，能记住长时序的特征信息，所以在长视频的动作识别中表现也十分优异。本发明剔除了背景信息，能够适用于大部分的场景，用特征增强的方法提高识别准确率，减小误判率。

本发明的技术方案是采用循环神经网络依据骨骼形态判断的人体动作检测方法，包括以下步骤，

步骤1：根据检测需要，采集视频图像，判断图像中是否存在目标，若存在目标，则执行步骤2，否则重复执行步骤1；

步骤2：从视频图像中提取关键帧；

步骤3：根据关键帧对目标进行姿态估计，得到全身骨骼形态以及骨骼节点集；

步骤4：对骨骼节点进行分区、分类，对不同类别的骨骼节点赋予不同的权值，得到身体部位的骨骼形态；

步骤5：采用卷积神经网络将身体部位的骨骼形态和全身骨骼形态进行特征融合；

步骤6：将步骤5得到的融合特征输入循环神经网络，进一步地融合前后时刻的时序信息；

步骤7：将循环神经网络输出的图像特征输入分类器，得到当前时刻的动作分类结果。

进一步地，步骤1包括以下子步骤：

步骤1.1：利用广角摄像机拍摄视频，从视频流截取获得原始图像样本；