[发明专利]一种基于级联Transformer的视频群体行为识别方法

说明书

本发明涉及计算机视觉及深度学习领域，尤其涉及一种基于级联Transformer的视频群体行为识别方法，首先采集生成视频数据集，将视频数据集经过三维骨干网络提取三维时空特征，选取关键帧图像空间特征图；对关键帧图像空间特征图进行预处理后送入人体目标检测Transformer，输出关键帧图像中的人体目标框；然后，映射筛选后人体目标框在关键帧图像特征图上所对应的子特征图，结合关键帧图像周围帧特征图计算query/key/value，输入群体行为识别Transfomer，输出群体级别时空编码特征图；最后，经过多层感知机对群体行为进行分类。本发明具有有效提高群体行为识别准确率的效果。

技术领域

本发明涉及计算机视觉及深度学习领域，尤其涉及一种基于级联Transformer的视频群体行为识别方法

背景技术

现如今，监控视频已经广泛应用于社会公共场所，在维护社会公共安全上发挥着极为重要的作用。对监控视频中的异常行为和事件进行有效的识别，能更好的发挥监控视频的作用。群体行为是视频中最常出现的人类行为活动，群体行为识别通过自动识别视频中的群体行为，能有效预防危险事件的发生，有着广泛的应用价值。

在自然场景下，视频群体行为识别主要面临两个较大的挑战。一是场景较为复杂，主要表现为人体尺度变换较大，背景光照、群体之间相互遮挡等，导致个体行为特征的提取难度加大；二是个体与群体的层次关系较难建模，群体行为中某些个体对群体行为有着较大的影响，某些个体贡献相对较小，个体间差异增大了个体间上下文关系的复杂度，如何突出不同个体对于群体行为贡献的差异性，是群体行为得到有效识别的关键。

近期的群体行为识别方法大多基于深度学习实现，主要分为两类：一是采用单阶三维卷积神经网络模型提取时空特征，送入全连接层进行群体行为识别；二是采用两阶识别方法，第一阶段提取个体特征，个体特征提取多采用目标检测算法检测人体目标框，再利用三维卷积网络提取目标框个体时空特征，或采用基于骨骼的方法提取目标框个体骨架特征；第二阶段对个体和群体的层次关系进行建模，获取第一阶段所提取个体特征之间的联系，输出群体级别特征，送入全连接层进行群体行为识别，该阶段主要采用基于循环卷积网络、图网络或加权融合方法。

专利CN110991375A公开了构建目标损失函数，通过多通道编码器和解码器构建单阶目标深度神经网络进行群体行为识别，其缺点在于单阶网络模型无法同时较好的提取个体和群体特征，导致识别准确率较低。

专利CN111178323A公开了首先使用目标检测算法SSD提取视频每帧图像中人体框，使用open pose算法提取单个个体骨骼特征，再通过人工设计方法融合个体骨骼特征以提取群体表示特征。其缺点在于目标检测与骨骼提取算法无法实现端到端的训练，两个算法需要针对实际使用场景离线微调训练后再送入群体特征提取网络中，增加了算法实际应用的难度；群体特征提取依靠人工设计，无法有效自动提取群体级别时空特征，研究表明手工设计特征容易受到场景及光照影响，鲁棒性较差。

专利CN110796081A公开了首先使用目标检测网络检测人体目标，通过卷积网络提取单帧人体目标特征，再根据单个个体之间外貌和位置关系构建图模型，利用图卷积神经网络提取单帧群体行为表示特征，最后对多帧群体行为特征进行融合得到视频群体行为表征特征。其缺点在于图卷积网络提取单帧群体空间特征时，未对群体中具有判别性的个体特征进行突出，且在视频时间特征维度仅进行简单的加权融合，无法较好的提取视频时序特征。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出一种基于级联Transformer的视频群体行为识别方法，由两级Transformer网络实现，第一级人体目标检测Transformer检测人体目标框并提取群体中具有判别性的个体特征，第二级群体行为识别Transformer通过自注意力机制提取单帧空间特征及帧间时序特征，有效融合个体行为特征提取群体级别特征，最后通过多层感知机输出群体行为类别，能实现端到端的训练，其具体技术方案如下：