[发明专利]基于上下文的多层次深度递归网络群体行为识别方法

权利要求书

1.一种基于上下文的多层次深度递归网络群体行为识别方法，其特征在于，包括：

S1，基于上下文的二值化编码器，对人体的子动作信息进行编码，形成单人动态信息；

S2，使用人体检测和追踪方法产生人的运动轨迹作为单个人体轨迹，将所有单个人体轨迹分成具有时空一致性的人体群组，并利用单人动态信息建立单人交互模型，并利用所述单人交互模型来对人体群组内部交互以及人体群组间交互进行建模；

S3，训练多层次递归上下文编码网络，来学习单人动态信息与人体群组内部和人体群组间交互的特征，实现群体行为识别。

2.根据权利要求1所述的基于上下文的多层次深度递归网络群体行为识别方法，其特征在于，所述S2中，将视频中的所有单个人体轨迹组成若干人体群组，然后再利用单人动态信息建立单人交互模型分别对人体群组间交互和人体群组内部交互进行多层次递归上下文编码网络模型建模；

将单个人体轨迹组成若干人体群组的方法，采用基于图分割的轨迹聚合方法，其中邻接图根据单个人体轨迹之间的相对空间距离和速度来进行构建。

3.根据权利要求1所述的基于上下文的多层次深度递归网络群体行为识别方法，其特征在于，所述单人交互模型，其建模采用单人层次的上下文编码方法，包括如下步骤：

步骤a，设单人层次的上下文编码方法中用到的数据，包括原始图像I_i和对应的光流图像使用FlowNet为每个帧生成光流图像，并根据每个人体边框分别对原始图像与光流图像提取DCNN特征，这两种特征串联后作为LSTM的输入特征X，然后应用LSTM来对某个人在时间上的动作变化进行编码；

步骤b，定义X＝{x₁，x₂，…，x_T}为LSTM输入特征的序列，x_t是通过串联原始图像特征和流图像特征输入而融合的特征向量，输入到LSTM模型的第t个节点；LSTM每个节点相应的状态和输出定义为h_t和o_t；每个LSTM的节点包含三个门限和一个记忆单元，所述三个门限分别为输入门限i，输出门限o以及忘记门限f；

步骤c，在每个时间戳，通过输入x_t以及前一个节点的状态h_t-1，LSTM的更新方法如下所示：

i_t＝σ(W_ix_t+U_ih_t-1+V_ic_t-1+b_i)

f_t＝σ(W_fx_t+U_fh_t-1+V_fc_t-1+b_f)

c_t＝f_t⊙c_t-1+i_t⊙tanh(W_cx_t+U_ch_t-1+b_c)

o_t＝σ(W_ox_t+U_oh_t-1+V_oc_t-1+b_o)

h_t＝o_t⊙tanh(c_t)

其中，i_t表示当前时间戳t的融合后的输入隐藏特征，f_t表示当前时间戳t的LSTM融合后的需要遗忘的隐藏特征，σ表示sigmoid函数，⊙表示元素乘法运算符；W、U、V矩阵分别表示权重矩阵，分别是对输入x、隐藏状态h、记忆单元c进行编码的参数；b表示偏置项；记忆单元c_t是前面的记忆单元c_t-1以及当前输入的加权组合，权重分别是忘记门限和输入门限的激活值；一方面，隐藏状态h_t用于表示人在时间t表现的特定原子行动，另一方面，h_t还包含该人从第一个时间戳到t时间戳的汇总的行动信息，即单人动态信息。