[发明专利]基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法

权利要求书

1.基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于，包括以下步骤：

步骤A、针对待识别视频，跟踪视频中每个成员，获得其边界框图像x_t，按时间顺序输入至关键人物候选子网络进行静态和动态特征提取，并识别个人行为属性，进而获得个人重要性权重α_t；

步骤B、将步骤A获得的个人重要性权重α_t以及个人边界框图像x_t输入至主网络进行分析处理，获得输入到层叠LSTM网络的空间特征X′_t＝x_t*α_t；

步骤C、以步骤B的输出作为输入进行共现性特征建模，对层叠LSTM的神经元进行分组，不同的组学习不同的共现性特征，获得组群特征Z_t；

步骤D、将步骤A中的边界框图像x_t输入到关键时间片段候选子网络进行特征提取，获得当前帧的重要性权重β_t；

步骤E、将步骤C中获得的组群特征Z_t和步骤D中获得的当前帧的重要性权重β_t相结合，获得当前帧的组群特征Z'_t，并将Z'_t输入到softmax，完成组群行为识别。

2.根据权利要求1所述的基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于：所述步骤A中，在获得个人重要性权重α_t时具体通过以下方式实现：

(1)首先，建立关键人物候选子网络，所述关键人物候选子网络包括串联连接的CNN和LSTM层、全连接层、tanh激活函数和全连接层；

(2)其次，获取组群成员的行为属性得分，具体地：

在第t时刻，设定场景中共有M个成员，其经CNN网络提取的边界框特征集合为x_t＝(x_t，1,,...,x_t，M)^T，行为属性得分为s_t＝(s_t,1,...,s_t,M)^T，行为属性得分表示M个成员的行为类别判断，表示为：

其中，T为视频序列长度，U_s,W_xs,W_hs为可学习参数矩阵，b_s,b_us为偏置向量，表示来自LSTM层的隐藏变量；

(3)最后，获取每个成员的重要性权重，进而确定关键人物，具体的：

给定组群行为类别集合G_{_action}＝(A₁,A₂,...,A_q)^T，对于第k个人，计算其行为属性得分s_t,k在G_{_action}的投影，用这两个多维向量的余弦相似度来衡量：

|| ||表示2范数；

转化为余弦角度归一化系数为：

由以下公式计算空间场景中每个人的重要性权重：

α_t,k是为了确定每个成员对组群行为识别任务来说有多大的贡献值。

3.根据权利要求2所述的基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，其特征在于：所述步骤B具体通过以下方式实现：

(1)首先，经重要性权重调制，获得t时刻第k个人的空间特征：

x'_t,k＝α_t,k·x_t,k

(2)然后，将所有经重要性权重调制的个体空间特征聚合做为主网络中的层叠LSTM输入，即得到：

X'_t＝(x'_t,1,...,x'_t,K)。