[发明专利]一种面向噪声骨架数据的数据增强与人体动作识别方法

说明书

本发明公开了一种面向噪声骨架数据的数据增强与人体动作识别方法，首先进行针对RGB视频提取的噪声骨架数据的数据增强，包括对2D噪声骨架数据进行归一化与数据对齐，计算时间一阶差分作为相邻帧节点运动幅度，将噪声帧相应节点坐标置零，对2D骨架节点恢复得到3D骨架节点序列；然后进行多流的高精度骨架人体动作识别，包括对3D骨架节点序列计算时间一阶差分得到相邻帧的节点运动幅度，对恢复出的3D骨架节点序列计算空间一阶差分得到骨骼向量，将3D骨架节点序列、3D节点运动幅度序列、3D骨骼向量序列作为三种不同的输入流，并行输入骨骼行为识别模型中进行处理；对这三个网络流输出的分类结果采取后融合的方式，作为最终的骨架动作分类结果。

技术领域

本发明涉及计算机视觉人体动作识别领域中基于骨架数据的人体动作识别方法，特别是涉及处理噪声骨架数据、数据去噪与平滑、高精度动作识别三大难点问题的方法。在人体行为分析，人机交互等方面具有重要科学研究价值和实际工程意义。

背景技术

基于精确骨架数据的人体动作识别是计算机视觉技术中一个重要的研究与应用领域。相比于RGB视频数据，人体骨架数据的数据量小，不易受到光照、视角等因素干扰，冗余度低且易于长序列数据的存储与传输。因此，基于精确骨架数据的人体动作识别技术也拥有更强的鲁棒性与应用价值。目前基于精确骨架数据的人体动作识别方法主要有以下三种：

(1)基于人工特征的动作识别方法。该类方法从人体动作的规律性出发，人工设计相应的模式特征用于简单动作的分类。例如通过人体关节的角度区分站立，躺下，坐下等日常动作，或通过节点的运动幅度与速度区分走路，跳跃，跑步等运动。基于人工特征的动作识别方法原理简单，易于实现，但鲁棒性较差，易受噪声数据的干扰，也不适用于更复杂的动作分类。

(2)基于卷积神经网络(CNN)或循环神经网络(RNN)的动作识别方法。该类方法通过一定的规则，将人体骨架数据从非欧式空间转换到欧式空间中，使人体的节点和骨骼具有一定的位置与顺序。例如将骨架数据转换为单通道图像，使其具有直观的表观特征，以便于利用CNN提取图像特征。或将骨架数据转换为规则的向量，以便于利用RNN进行时序特征提取。这类方法可以较好地提取鲁棒性更强的骨架运动特征，但因为转换过程破坏了骨架数据原本的图(graph)结构信息，因此精度受限。

(3)基于图卷积网络(GCN)或Transformer的动作识别方法。该类方法直接在非欧式空间中处理图结构的骨架数据，更加符合骨架数据的特点，也具有更强的特征提取能力以及动作分类精度。对于时间与空间两个维度的信息，基于GCN的方法通常采用循环聚合的方式，时空交替提取特征。基于Transformer的方法采用注意力机制有效挖掘人体骨架节点运动的时空关联性，获取丰富的运动信息。

上述三种方法均适用于处理精确的骨架数据，这类数据通常由深度相机或微软kinect体感设备获得，获取成本较高。在实际应用中，人体骨架数据通常是利用姿态估计方法从RGB视频中自动化提取的。受限于RGB视频的质量和姿态估计方法的精度，这类骨架数据通常包含大量的噪声，且对复杂环境下人体关键点的定位准确性不足。因此，上述方法很难用于这类噪声骨架数据的人体动作识别。综上所述，开发一种面向噪声骨架数据的数据增强与人体动作分类方法具有十分重要的研究意义与应用价值。

发明内容

针对现有骨架动作识别系统的缺陷，本发明提供了一种针对RGB视频提取的噪声骨架数据的数据增强与高精度动作识别的方法。

本发明提供一种面向噪声骨架数据的人体动作识别方法，包括以下过程，

首先，进行针对RGB视频提取的噪声骨架数据的数据增强，包括以下步骤，

步骤1.1，对2D噪声骨架数据进行归一化与数据对齐，包括将人体节点坐标归一化，且以人体腰部右侧节点为坐标原点进行对齐；

步骤1.2，对归一化对齐后的2D骨架节点计算时间一阶差分，作为相邻帧节点运动幅度，将连续两次运动幅度大于相应阈值的中间帧视为噪声帧，将相应节点坐标置零；