[发明专利]基于递归神经网络和人体骨架运动序列的行为识别方法

摘要

本发明公开一种基于递归神经网络的人体骨架运动序列行为识别方法，包括以下步骤：对已经提取好的人体骨架姿态序列中节点坐标进行归一化，以消除人体所处绝对空间位置对识别过程的影响，利用简单平滑滤波器对骨架节点坐标滤波以提高信噪比，最后将平滑后的数据送入一个层次化双向递归神经网络进行深度特征提取及识别，同时提供了一种层次化单向递归神经网络模型以应对实际中的实时在线分析需求。该方法主要优点是根据人体结构特征及运动的相对性，设计端到端的分析模式，在实现高精度识别率的同时避免复杂的计算，便于实际应用。该发明对于基于深度摄像机技术的智能视频监控、智能交通管理及智慧城市等领域具有重要意义。

主权项

1.一种基于递归神经网络和人体骨架运动序列的行为识别方法，其特征在于，该方法包括以下步骤：步骤S1，从训练深度视频中估计得到人体运动对应的人体骨架运动序列；步骤S2，对于所述人体骨架运动序列进行归一化；步骤S3，对于归一化后的人体骨架运动序列进行滤波；步骤S4，将所述人体骨架运动序列数据划分为M个部分，并将其分别送入相应数量的并行的单隐含层双向递归神经网络中进行特征提取；步骤S5，对于M个单隐含层双向递归神经网络在同一时刻的输出进行局部融合，得到N个序列值，输入到下一层N个并行的单隐含层双向递归神经网络中进行特征提取，提取得到的特征即为N个单隐含层双向递归神经网络的输出，其中，N＜M；步骤S6，对于得到的新的特征重复步骤S5进行局部融合，直至得到一个关于整个人体运动的序列值，并将其送入一个由LSTM神经元构成的双向递归神经网络，以得到对于人体运动动态的表达；步骤S7，将所述步骤S6得到的网络输出送入全连接层，并根据所述全连接层的输出得到类属概率；步骤S8，根据所述步骤S7中得到的类属概率的最大值来判定输入序列所属的类别；步骤S9：如所述步骤S1‑S3所述，得到待识别深度视频的人体骨架运动序列，并对其进行归一化和滤波；步骤S10：如所述步骤S4‑S8所述，将归一化和滤波后的人体骨架运动序列送入层次化双向递归神经网络，得到所述人体骨架运动序列的类属概率；步骤S11：根据所述步骤S10得到的类属概率最大值判定所述待识别深度视频所属的行为类别。