[发明专利]基于增进式图卷积神经网络的人体动作识别方法

说明书

本发明公开了一种基于增进式图卷积神经网络的人体动作识别方法，首先提取与类别无关的时空对象和计算不同对象提取的特征，并对动作信息检测单元进行定义和表示；其次计算每帧表示的信息熵，选取熵小的帧作为整个视频的关键帧动作；然后将选取的关键动作帧图像输入到人体姿态估计模型；接着通过微小的变换、修剪和对齐的方法自动选择感兴趣的区域方面；最后在检测器检测人体动作的时候产生的冗余检测信息采用非极大值抑制算法来消除，通过适当的数据增强，以便让对称空间变换网络加上单人姿态估计网络适应不完美的人体区域定位结果。本发明可以有效的提高人体动作识别的准确率。

技术领域

本发明涉及模式识别与计算机视觉领域，尤其涉及一种基于增进式图卷积神经网络的人体动作识别方法。

背景技术

在计算机视觉和机器学习领域，人体动作识别是一个极具有挑战性的研究课题。目前，人体动作识别中有许多关键问题尚未解决。强大的人体动作建模和特征表示是人体动作识别成功的关键。特征表示和选择是计算机视觉和机器学习中的经典问题，与图像空间中的特征表示不同，视频中的人体动作不仅描述了人类在图像空间中的出现，而且还必须提取外观和姿势的变化。特征表示的问题从二维空间扩展到了三维时空。

从数据集类型的角度来看，对人类动作识别的研究可分为基于颜色(RGB)数据的方法和结合颜色深度数据(RGBD)的方法。随着计算机视觉研究的进展，针对这些数据的人体动作识别方法可以归类为具有机器学习方法的手动设计功能或端到端深度学习算法。无论数据类型和计算方法如何，其核心目标都是提取可靠的人类动作特征。针对RGB数据已经提出了许多动作特征，例如基于时空体的特征，时空兴趣点特征和联合轨迹特征。但是，诸如照相机移动，遮挡，复杂场景以及人体检测和姿势估计方法的局限性等因素限制了基于手工特征的人体动作表示和识别的性能。

基于骨架的人体动作识别的困难之处包括：

(1)传统的骨架建模人体动作识别模型在人体骨架信息提取能力上较弱，特别在实际的真实场景中，由于摄像头的偏移和目标遮挡等因素的影响，会导致几乎提取不到人体的骨架信息特征。

(2)在动作视频中，任何一个表演者对同一个动作类别的表现会产生不一样的肢体动作，即冗余动作。在人体动作识别模型中，冗余动作对识别的准确率有较大的误差影响。

(3)传统的动作识别模型在动作表达能力上较弱，如何提升动作的表达的能力对模型的性能和鲁棒性都有着至关重要的作用。

发明内容

针对上述问题，本发明提供一种基于增进式图卷积神经网络的人体动作识别方法，解决传统的骨架建模人体动作识别模型在人体骨架信息提取能力上较弱，动作信息冗余和动作表达能力弱等问题。其首先提取与类别无关的时空对象和计算不同对象提取的特征，并对动作信息检测单元进行定义和表示；其次计算每帧表示的信息熵，选取熵小的帧作为整个视频的关键帧动作；然后将选取的关键动作帧图像输入到人体姿态估计模型；接着通过微小的变换、修剪和对齐的方法自动选择感兴趣的区域方面；最后在检测器检测人体动作的时候产生的冗余检测信息采用非极大值抑制算法来消除，通过适当的数据增强，以便让对称空间变换网络加上单人姿态估计网络适应不完美的人体区域定位结果。

为实现上述目的，本发明具体采用以下技术方案：

一种基于增进式图卷积神经网络的人体动作识别方法，其特征在于，包括以下步骤：

步骤S1：对每一训练视频提取与类别无关的时空对象，获得与活动相关的时空视频片段构成的训练集和验证集，并对不同对象提取外观和运动特征；

步骤S2：对训练集生成动作信息检测单元，用于定义每一对的时空视频片段的相似程度；

步骤S3：对获取的和增强的数据集利用注意力机制进行关键帧筛选；计算每帧表示的信息熵，选取熵小的帧作为训练视频的关键帧动作；

步骤S4：对筛选出来的关键帧视频利用人体姿态估计模型进行转码和标注；