[发明专利]一种基于注意力机制的LSTM人体行为识别方法

说明书

本发明具体涉及一种基于注意力机制的LSTM人体行为识别方法。将人体关节点坐标信息作为输入数据，将人体关节点根据人体结构分为5组，并将其坐标信息送入5个LSTM‑Attention模块进行特征提取，将提取到的新特征进行3次局部融合，并将其送入相应的LSTM‑Attention模块进行特征提取以获得整个人体特征，将整个人体特征送入全连接层以及softmax层输出人体行为识别结果；本发明在LSTM中引入注意力机制，使得LSTM能够较好的保留和处理数据中的时序信息，特征向量传入Attention层中能够自适应地感知对识别结果有较大影响的网络权重，提高了人体行为识别的效率和准确性。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于注意力机制的LSTM人体行为识别方法。

背景技术

随着人工智能时代的到来，实现各个领域的智能化已成为大势所趋，也将为人们的生活带来极大的便捷。计算机视觉作为人工智能领域的一个重要分支，可以看作是人工智能的“眼睛”，其主要任务是使用计算机对采集到的信息(图片或视频)进行分析处理以理解其中包含的语义信息。人体动作识别作为计算机视觉领域最热门的研究方向之一，受到了学术界和商业界的广泛关注，在现实生活中多个领域都有着广阔的应用前景。

人体动作识别的主要目的是能够从一段视频序列中判断出人的动作类别，其识别过程一般包括特征提取和分类器设计两个步骤。传统的动作识别方法，主要通过人工设计的特征进行特征提取，但是人工设计的特征往往要根据不同的任务进行特定的设计，依赖于数据库本身，因此其泛化能力和通用性较差。另外，传统的动作识别主要是针对数据量较小、动作种类较少且动作复杂度较低的小型数据集。然而，在当今信息爆炸和大数据的背景下，图像和视频数据呈指数级增长，这也使得传统的基于人工设计特征的动作识别方法无法满足需求。

近年来，随着深度学习技术的兴起，自动学习特征的方法即神经网络被广泛的使用。一些近年来的工作也显示了自动特征学习方法对于人体行为识别的研究也有着显著的效果。因此，通过设计一种基于神经网络的模型来自动学习具有判别性的特征以对人体行为进行分类具有非常重要的研究意义。

发明内容

针对上述存在的问题，本发明提出一种基于注意力机制的LSTM人体行为识别方法，以提高人体行为识别的准确率。

为实现上述目的，本发明具体技术方案如下：一种基于注意力机制的LSTM人体行为识别方法，包括以下步骤：

1)利用体感摄像头获取待测人体行为的人体骨架深度图像序列D，记为D＝{d₁，d₂，d₃…d_n}，d_i表示D中第i个人体骨架深度图像；

2)人体前景分割，利用体感摄像头依次对D中的人体骨架深度图像进行像素评估，在视野范围内分割出与人体部位区域最相近的范围，利用边缘检测技术从人体区域范围中分割出完整的人体轮廓图像；人体骨架深度图像d_i对应的人体轮廓图像记为h_i；

3)人体关键部位识别，利用骨架拟合方法从人体轮廓图像中识别人体关键部位，所述人体关键部位包括人体头部、躯干、左臂、右臂、左腿和右腿；

4)利用人体关键部位与虚拟骨架模型匹配的方法提取人体轮廓图像h_i的人体关节点在相机坐标系中的坐标信息，所述人体关节点包括：头部、左肩膀、右肩膀、左右肩膀的中心点、左肘关节、右肘关节、左手掌、右手掌、脊柱基部、左髋关节、右髋关节、左膝关节、右膝关节、左脚掌、右脚掌；

5)将人体关节点在相机坐标系中的坐标信息转化为人体坐标系中的坐标信息；

6)利用Savitzky-Golay平滑滤波器依次对人体坐标系中的人体关节点坐标信息进行滤波，滤波函数如下：