[发明专利]一种基于局部图卷积网络的排球群体行为识别方法

说明书

一种基于局部图卷积网络的排球群体行为识别方法，涉及智能媒体计算和计算机视觉领域；首先对训练视频样本进行时域稀疏采样，对采样出的视频帧使用卷积神经网络提取全图特征图，并利用RoI Align根据图像中的个体候选框的位置提取个体视觉特征图；其次建立个体自连接图模型和个体间连接图模型，并以图卷积网络对图模型中的个体局部特征进行交互信息的传递得到关系特征图，并将其与个体视觉特征图进行融合；将训练样本进行预处理后传入网络中，利用损失函数和优化器对模型的参数进行迭代更新直至达到收敛，完成训练；最后将测试数据送入网络中，得到模型对测试数据的预测结果以及分类准确率。本发明有助于提升群体行为识别算法的性能。

技术领域

本发明属于计算机视觉群体行为识别领域，具体涉及一种基于局部图卷积网络的排球群体行为识别方法。

背景技术

随着互联网技术的飞速发展，视频数据的数量迎来爆炸式增长。大部分视频的主体都是人，实际场景中的视频往往包括多人，群体行为识别任务是使计算机能够自动分析多人场景视频中发生的行为，不仅需要描述每个个体在场景中的个体行为，还需要推断他们的群体行为。群体行为识别在体育视频分析、监控视频分析、社交视频理解以及视频检索等方面有广泛的应用。因此，群体行为识别成为了最近的研究热点之一。

早期的群体行为识别方法主要利用方向直方图HOG、尺度不变特征变换SIFT等手工设计的描述子来对个体以及场景信息进行描述，但是这样的低级图像特征难以很好的表达个体特征以及挖掘出个体之间复杂的关系表示，因此并没有取得很好的行为识别效果。近年来，随着深度卷积网络在图像分类、语义分割和目标检测等计算机视觉领域获得了巨大的成功，很多研究者开始尝试使用深度网络来处理视频行为识别问题。2018年，Qi等人使用个体行为的词语标签和视觉信息建立语义图，利用Structural-RNN来融合个体时域上下文信息。Wang等人在2018年提出一种非局部神经网络，利用非局部操作来捕获长距离依赖关系，在行为识别领域取得了很好的效果。Wu等人在2019年提出一种基于图卷积网络的群体行为识别方法，将个体作为图的结点，利用视觉和位置关系进行边的构建，利用图卷积来推理个体间关系。2020年，Gavrilyuk等人使用Transformer模型来探究个体之间的交互关系信息，利用Self-Attention机制自适应地提取对于群体行为重要的信息，进一步提高了群体行为识别的准确率。

上述的一些研究成果激发了我们的灵感。最近的一些群体行为识别方法大体可以总结为三个步骤：1)根据目标跟踪得到的轨迹提取每个个体在全连接层输出的特征向量作为个体视觉特征；2)根据个体视觉特征探究个体间的交互信息，得到每个个体的关系特征表示；3)融合个体特征信息为最终的群体行为特征，并进行分类。这样的一个方案是切实有效的，但是它忽略了人体局部区域这一更细层级的特征信息。现有的方法都是通过全连接层得到人体全局特征向量，这种方式会损失掉人体的局部细节特征，然而局部细节特征对于关系的建模以及识别个体行为和群体行为是很重要的，这也导致了其模型具有局限性、性能提升有限。在此基础上，我们设计了一种基于局部图卷积网络的群体行为识别方法，提取特征时保留个体的局部细节特征和空间模式，利用图卷积模型探究了个体局部区域间的交互关系，充分挖掘个体的交互上下文信息，使得群体行为识别准确率得到提升。

发明内容

本发明的目的是设计一种基于局部图卷积网络的群体行为识别方法，其框架图如图1所示。

针对现有研究方法存在的问题，我们在提取特征时不使用全连接层提取个体全局视觉特征，而是提取个体的深度特征图，保留个体特征的空间模式和局部区域的细节特征。通过嵌入空间点乘的计算方式进行建图，为了探究每个个体内各局部区域的交互信息，建立了个体自连接图；为了探究个体间的各局部区域的交互信息，建立了个体间连接图，利用图卷积模型在两种图上推理局部区域间的关系特征，并与原始视觉外观特征相结合，挖掘出丰富的高级语义特征，提高了群体行为识别的准确率。

本发明的具体步骤如下：