[发明专利]基于递归神经网络和人体骨架运动序列的行为识别方法

权利要求书

1.一种基于递归神经网络和人体骨架运动序列的行为识别方法，其特征在于，该方法包括以下步骤：

步骤S1，从训练深度视频中估计得到人体运动对应的人体骨架运动序列；

步骤S2，对于所述人体骨架运动序列进行归一化；

步骤S3，对于归一化后的人体骨架运动序列进行滤波；

步骤S4，将所述人体骨架运动序列数据划分为M个部分，并将其分别送入相应数量的并行的单隐含层双向递归神经网络中进行特征提取；

步骤S5，对于M个单隐含层双向递归神经网络在同一时刻的输出进行局部融合，得到N个序列值，输入到下一层N个并行的单隐含层双向递归神经网络中进行特征提取，提取得到的特征即为N个单隐含层双向递归神经网络的输出，其中，N＜M；

步骤S6，对于得到的新的特征重复步骤S5进行局部融合，直至得到一个关于整个人体运动的序列值，并将其送入一个由LSTM神经元构成的双向递归神经网络，以得到对于人体运动动态的表达；

步骤S7，将所述步骤S6得到的网络输出送入全连接层，并根据所述全连接层的输出得到类属概率；

步骤S8，根据所述步骤S7中得到的类属概率的最大值来判定输入序列所属的类别；

步骤S9：如所述步骤S1-S3所述，得到待识别深度视频的人体骨架运动序列，并对其进行归一化和滤波；

步骤S10：如所述步骤S4-S8所述，将归一化和滤波后的人体骨架运动序列送入层次化双向递归神经网络，得到所述人体骨架运动序列的类属概率；

步骤S11：根据所述步骤S10得到的类属概率最大值判定所述待识别深度视频所属的行为类别。

2.根据权利要求1所述的方法，其特征在于，所述步骤S1还包括对于所述人体骨架运动序列进行降采样的步骤。

3.根据权利要求1所述的方法，其特征在于，所述步骤S2中的归一化为：以人体骨架的左右髋关节节点和脊柱下端点构成的三角形的几何中心作为新的坐标系原点，对于所述人体骨架运动序列中的各节点坐标值进行平移。

4.根据权利要求1所述的方法，其特征在于，所述人体骨架运动序列数据中每一帧对应的数据分为五个部分：两条胳膊，两条腿和躯干。

5.根据权利要求1所述的方法，其特征在于，每个单隐含层双向递归神经网络包含9个层：4个双向递归神经网络层bl₁-bl₄，3个特征融合层fl₁-fl₃，一个全连接层fc和一个Softmax层。

6.根据权利要求5所述的方法，其特征在于，bl₁-bl₃层由具有双曲正切激活函数的神经元构成，bl₄层由长短时记忆神经元构成。

7.根据权利要求1所述的方法，其特征在于，所述局部融合为：以M个部分中的其中一个为中心，将M个单隐含层双向递归神经网络在同一时刻的输出进行串接。

8.根据权利要求1所述的方法，其特征在于，所述类属概率表示为：

其中，C表示行为类别，p(C_k)表示当前输入骨架序列在所有C个类别中属于类别k的概率，A_i表示全连接层第i个神经元的输出沿时间轴累加后的结果。

9.根据权利要求8所述的方法，其特征在于，所述步骤S8还包括根据判定结果对于所述神经网络进行优化的步骤。

10.根据权利要求9所述的方法，其特征在于，采用的优化目标为最小化最大似然损失函数：

其中，δ(·)为Kronecker函数，Ω为整个训练样本集，r为样本Ω_m对应的行为类别，E为训练集Ω中的样本总数，m为训练集Ω中的样本序号，0≤m≤E-1。