[发明专利]一种基于粗粒度-细粒度嵌套学习的群体活动识别方法

说明书

本发明公开了一种基于粗粒度‑细粒度嵌套学习的群体活动识别方法，S1将T帧RGB图像进行裁剪，然后输入骨架网络提取视觉特征，每个特征看作一个局部令牌，为每一帧定义一个可学习的全局令牌，与局部令牌连接在一起更新视觉特征；然后将视觉特征输入嵌套交互器，捕获时空全局信息，得到全局特征；S2用每个局部令牌与全局令牌的相似性表示该令牌的空间视觉权重，然后粗略地选出相似性高的局部令牌并映射到原图所在的位置；S3采用块融合模块和交叉注意力机制对局部块特征进行细化处理；S群体活动预测：将步骤S3得到的视频表示传入分类器中进行分类。本发明不使用已经存在的检测器获取个体位置，且对群体活动具有较高的识别效率。

技术领域

本发明涉及计算机视觉领域中的群体活动识别方法，特别涉及一种无需检测器的群体活动识别方法。

背景技术

群体活动识别是计算机视觉领域中的一项基本但是具有挑战性的任务，在监控、体育视频分析、社会角色理解等方面有着广泛的应用。面对多人场景中多余的视觉信息，现有方法依靠细粒度标签，例如个人位置和行动标签，来提取有效的个人特征或特征。具体来说，这些方法使用单个位置标签，使用RoIAlign来提取单个特征，捕获交互信息和个体之间的时空变化，然后生成反映交互信息和场景信息的视频表示。然而，获得这些细粒度特征非常耗时，这也是群体活动识别任务面临的挑战。

因此，为了减少对细粒度标签的依赖并提高群体活动识别的适用性，人们开始在训练和测试阶段仅使用视频级活动标签，来探索弱监督下的群体活动识别方法。弱监督群体活动识别的主要挑战是如何提取有效的关键视觉特征，而无需任何额外的细粒度个人监督信息。现有解决方案通过以下方式提取视觉特征。(a)人物特征。使用现成的物体检测器来生成人员的位置提名，然后提取人物特征。然而，它严重依赖于现有探测器的质量，并且缺乏灵活性。(b)网格特征。采用Transformer从具有可学习权重的噪声网格特征中学习一组令牌嵌入，然后将它们聚合到整体视频表示中。然而，这种方法平等地编码所有局部视觉信息，并且不会深入挖掘与活动高度相关的关键视觉内容。因此，如何灵活且准确地捕捉关键视觉特征是一个值得关注的问题。

发明内容

发明目的：针对上述现有技术，提出一种基于粗粒度-细粒度嵌套学习的无需检测器的群体活动识别方法，有效提高弱监督下的群体活动识别效率。

技术方案：一种基于粗粒度-细粒度嵌套学习的群体活动识别方法，包括以下步骤：

S1嵌套交互学习：将T帧RGB图像进行裁剪，然后输入骨架网络提取视觉特征，每个特征看作一个局部令牌，为每一帧定义一个可学习的全局令牌，与局部令牌连接在一起更新视觉特征；然后将视觉特征输入嵌套交互器，捕获时空全局信息，得到全局特征；

S2粗粒度空间定位：用每个局部令牌与全局令牌的相似性表示该令牌的空间视觉权重，然后粗略地选出相似性高的局部令牌并映射到原图所在的位置，即以粗略地定位关键的视觉块；

S3细粒度时空选择：采用块融合模块和交叉注意力机制对步骤S2获得的局部块特征进行细化处理；

S4群体活动预测：将步骤S3得到的视频表示传入分类器中进行分类。

进一步的，步骤S1中，一帧图像包含N个局部令牌，与全局令牌连接在一起后得到新的视觉特征其中C是特征维度；所述将视觉特征输入嵌套交互器，捕获时空全局信息包括以下步：

S11：为视觉特征X_g添加可学习的空间位置编码，然后采用空间注意力机制探索全局与局部令牌之间的空间交互信息，并将局部令牌中包含的信息整合到全局令牌中，得到包含空间交互信息的视觉特征X_gs；

S12：对视觉特征X_gs进行空间池化，然后使用跨时间维度的卷积层来生成时序重要图V并更新局部令牌，得到包含时序信息的局部令牌

S13：计算局部令牌的平均值得到包含空间信息的全局令牌；