[发明专利]基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法

权利要求书

1.基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于，包括以下步骤：

步骤A、基于片段注意力机制提取关键视频片段；

步骤A1、将待识别视频数据等时长分段，并利用稀疏采样策略在每个分段视频中随机抽取一帧代表一个小的片段，然后对每个视频帧进行空间特征提取；

步骤A2、构建片段注意力模型对不同视频帧分配不同权重，并对权重进行迭代优化，实现对关键片段的有效利用；

步骤A3、提取迭代优化后的最高权重对应的关键视频帧，进而得到其所对应的关键视频片段；

步骤B、提取关键视频片段的时空特征；

步骤C、基于卷积关系机制提取上述时空特征中的组群成员活动强度交互关系，所述卷积关系机制是指基于单人和群组活动，通过其学习产生一个活动图，并通过多个阶段、不同类型的卷积操作对活动图进行优化，形成对组群关系的动态描述；

步骤D、融合步骤B提取的时空特征与步骤C提取的交互关系进行群组行为识别。

2.根据权利要求1所述的基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于：所述步骤B中，提取关键视频片段的时空特征时具体采用以下方式：

步骤B1、构建P3D ResNet网络；

(1)P3D ResNet网络中的卷积核为3D卷积核，将3*3*3的卷积核分解成1*3*3的二维空间卷积和3*1*1的一维时间卷积，二维空间卷积用S表示，一维时间卷积用T表示；

(2)设计P3D-A、P3D-B和P3D-C三种块结构：

P3D-A的表示形式为：

(I+T·S)·x_t＝x_t+T(S(x_t))＝x_t+1                   (7)

其中，I表示原始视频图像，x_t和x_t+1分别表示残差单元在时间t的输入和输出，S(x_t)表示对x_t进行空间卷积，T(S(x_t))表示对S(x_t)进行时域卷积；

P3D-B的表示形式为：

(I+S+T)·x_t＝x_t+S(x_t)+T(x_t)＝x_t+1              (8)

P3D-C的表示形式为：

(I+S+T·S)·x_t＝x_t+S(x_t)+T(S(x_t))＝x_t+1          (9)

(3)将P3D-A、P3D-B和P3D-C三种块结构进行顺次连接组合形成P3D-ResNet网络结构；

步骤B2、提取时空特征：将步骤A3中提取的关键视频片段输入至所构建的P3D ResNet网络中，得到整个关键片段的时空特征向量F_p3d，也称之为初始特征。