[发明专利]基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法

说明书

本发明公开一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，1)基于关键人物候选子网络获得组群中每个成员的重要性权重；2)将个人重要性权重和边界框特征输入至主网络CNN，获得输入到层叠LSTM网络的空间特征；3)以2)的输出作为输入进行共现性特征建模，通过对层叠LSTM内部神经元分组，实现不同的组学习不同的共现性特征，获得组群特征；4)将边界框特征输入到关键时间片段候选子网络进行特征提取，获得当前帧的重要性权重；5)将3)中获得的组群特征和4)中获得的当前帧的的重要性权重相结合获得当前帧的组群特征，并将其输入到softmax进行组群行为识别，完成分类任务。本方案基于关键时空信息提取组群重要成员特征以及关键的场景帧，并结合共现性处理组群行为内部的交互信息，实现组群行为识别精度的提升。

技术领域

本发明涉及组群行为识别领域，具体涉及一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法。

背景技术

近年来，视频中的人类行为识别在计算机视觉领域取得了举世瞩目的成就。人体行为识别在现实生活中也得到了广泛应用，如智能视频监控、异常事件检测、体育分析、理解社会行为等，这些应用都使得组群行为识别具有重要的科学实用性和巨大的经济价值。组群行为识别是由多个人共同完成的复杂活动，组群行为识别方法中最重要的是个人特征的研究以及如何以个人推断组群行为。

2016年发表在CVPR上的“A Hierarchical Deep Temporal Model for GroupActivity Recognition”构建了一个深度模型来捕获基于LSTM模型的动态，提出了一种新颖的深层体系结构，该体系结构在LSTM网络中对群组活动进行建模，在第一阶段对个人活动进行建模，然后将人员级别信息与代表团体活动相结合。该模型的时间表征值是基于长短期记忆(LSTM)网络，目标是利用个人行为和团体活动之间的层次结构中的判别信息。但是，该方法虽然使用了两层的LSTM网络，只是简单的将个人特征组合起来表示群组行为，不能利用个人的交互关系，而且无法识别群组中的关键人物，导致群组行为识别的精度较低；另外，考虑到群组活动中每个人对群组行为识别的重要性是不同的，该方案仅简单的对每个人进行建模，同时也会降低群组行为识别的精度。

另外，2019年发表在JOURNAL OF VISUAL COMMUNICATION AND IMAGEREPRESENTATION上的“Region based multi-stream convolutional neural networksfor collective activity recognition”提出了一种新的基于人的区域的多留体系结构，用于群组活动的识别，该方法除了使用整体的图像信息，还分析了多个局部区域，虽然很好的考虑了人-人和群组-人的交互信息，但是由于没有更好的利用LSTM网络，不能很好的捕捉视频的时序信息，也没有充分的考虑个人的光流运动信息；而且提出的Sum Fusion、MaxFusion、Concatenation Fusion等多种融合策略都是人为制定的，不能很好的进行特征表示。

发明内容

本发明为精确识别出组群中每个个体的行为，并利用个体以及他们之间的交互特征推断出组群行为，提出一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法。

本发明是采用以下的技术方案实现的：一种基于关键时空信息驱动和组群共现性结构化分析的组群行为识别方法，包括以下步骤：

步骤A、针对待识别视频，跟踪视频中每个成员，获得其边界框图像x_t，按时间顺序输入至关键人物候选子网络进行静态特征和动态特征提取，并识别个人行为属性，获得个人重要性权重α_t；

步骤B、将步骤A获得的个人重要性权重α_t以及个人边界框图像x_t输入至主网络CNN进行分析处理，获得输入到层叠LSTM网络的空间特征X_t'＝x_t*α_t；