[发明专利]基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法

说明书

本发明提出一种基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，主要用于解决视频监控场景下群组行为识别的精度问题，以提高群组行为识别精度并排除视频中大量冗余信息；首先，利用片段注意力机制提取视频中的关键片段，并通过P3D网络提取其时空特征；然后利用卷积关系机制构建群组活动图以捕获人与人之间的交互关系，并通过多个阶段、不同类型的卷积操作对活动图进行优化，形成对组群关系的动态描述；进一步，通过融合机制将优化后的组群关系活动图与原始的P3D特征进行融合，旨在将底层的P3D特征和高层的组群特征进行结合，避免特征丢失；最后，将融合后的特征利用softmax分类器对群组行为进行识别，以获得更高的组群行为识别精度和效果。

技术领域

本发明属于组群行为识别领域，具体涉及一种基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法。

背景技术

近年来，基于视频的人体行为识别技术受到了学术界的广泛关注，并且在许多工业领域也有着非常重要的应用前景，例如智能监控领域，公共安全领域以及人机交互领域等。卷积神经网络的出现，极大程度地促进了图像分类、图像分割以及目标检测等任务的发展。许多科研人员通过建立各种不同深度和宽度的网络结构，从图像中提取复杂的特征。而行为识别系统性能的好坏，在很大程度上取决于是否可以有效的利用这些重要信息。针对基于视频的群组行为识别而言，不仅要考虑场景中单人的行为，而且要考虑场景中人与人之间的交互关系。

公开号为【CN109064484A】的发明专利公开一种“基于子群组划分与动量特征融合的人群运动行为识别方法”，包括以下步骤：第一步：输入连续的视频帧，并对视频帧进行划分，将每一帧中的每个人作为一个特征跟踪点，并跟踪每个特征点的三种动量信息，包括每个点的空间坐标、位移大小以及运动方向；并将所有跟踪点的动量信息进行统计；第二步：子群体的移动特征由动量特征决定，以子群体和子群体内的特征跟踪点为基础，定义三种不同的动量特征：运动方向一致性、空间稳定性、人群摩擦冲突性；第三步：计算连续5帧内的描述因子的平均值，用三个平均值构造一个向量，共同组成一个三通道的图像，并输入到微分递归卷积神经网络中进行训练，最后采用输出函数将特征向量转化为人群行为标签，实现人群运动行为识别。

但是，该方案中：(1)第一步采用Harris角点跟踪算法获取视频图像帧中运动目标的空间信息，该算法虽然对L型、X型和Y型的角点提取效果较好，但在提取型T斜T型角点时存在定位偏差；另外，Harris算法不具有尺度不变性，而且检测时间较长；(2)第三步中所使用的微分循环神经网络是将VGG-16网络与LSTM网络进行连接，实现端到端的特征提取；这样做虽然可以有效捕获连续帧间的时空特征，但无法提取底层信息之间的依存关系，容易丢失上下文信息；(3)另外，该方案采用人工标注的方法，根据行为发生的主体、地点以及行为本身的特点来对训练样本进行标注，需要耗费大量的时间和人力成本，对模型训练数据集的规模扩大带来了限制，且人工标注的数据集掺杂了很多人为因素，不利于网络的学习。

发明内容

为克服现有技术的缺点和不足，综合考虑各种行为识别网络的性能和有效性，本发明提出了一种基于片段注意机制与卷积关系机制的深度网络模型，该网络能够通过片段注意力机制提取视频中的关键片段，并利用卷积关系机制提取群组活动中人与人之间的交互关系，二者相结合能够获得更好的群组行为识别效果。

本发明是采用以下的技术方案实现的：一种基于视频片段注意力机制与交互关系活动图建模的群组行为识别方法，其特征在于，包括以下步骤：

步骤A、基于片段注意力机制提取关键视频片段；

步骤A1、将待识别视频数据等时长分段，并利用稀疏采样策略在每个分段视频中随机抽取一帧代表一个小的片段，然后对每个视频帧进行空间特征提取；

步骤A2、构建片段注意力模型对不同视频帧分配不同权重，并对权重进行迭代优化，实现对关键片段的有效利用；

步骤A3、提取迭代优化后的最高权重对应的关键视频帧，进而得到其所对应的关键视频片段；