[发明专利]一种基于图神经网络的群体行为识别方法

说明书

本发明公开了一种基于图神经网络的群体行为识别方法，方法包括以下步骤：特征提取，对单位时间内视频段的个体视觉特征进行提取，获取每个人的特征表达与整个场景特征表达；生成虚图，根据得到的每个人的特征表达与场景特征表达生成全连接的无向图，在无向图中引入虚节点，生成虚图；图神经网络更新，对虚图进行图神经网络更新；构建图神经网络，根据图神经网络层构建图神经网络模型；群体行为识别，将完整的虚图导入到图神经网络，对预测类标和真实类标进行误差计算。本发明定义了一种新型的基于虚节点的图神经网络，可以学习到视频中丰富的时间空间特征，从而帮助对视频中的群体行为进行准确的识别。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于图神经网络的群体行为识别方法。

背景技术

给定一段视频，智能识别系统需要对该段视频中所涉及的群体行为进行识别。这涉及对视频中的内容在空间上和时间上进行分析。

目前主要的识别方法是将视频片段输入一个三维卷积神经网络，由三维卷积神经网络在三维空间里进行特征提取，并直接输出对视频的识别结果。或者抽取视频中的多帧图片，对每帧图片都输入一个二维卷积神经网络，由二维卷积神经网络对每帧图片进行识别结果判别，并平均多个帧的识别结果作为最终结果。

一般的识别方法无论用的是二维卷积神经网络还是三维卷积神经网络，都存在一定的不足。对二维卷积神经网络来说，对帧进行特征提取，每次输入二维卷积网络只有一帧图像，所得到特征缺少时间维度的信息。三维卷积神经网络解决了二维卷积神经网络时间维度上的不足，但这种时间维度缺少在不同时刻上的信息交流。并且，两者都由于输入为整张图片或整个视频片段，因此是基于全局的特征，缺少对局部关键信息、各个局部信息之间互相影响、各个局部信息和整体信息互相影响的刻画，如人与人互动的信息和人与环境互动信息的刻画。

发明内容

本发明的主要目的在于克服现有技术的缺点与不足，提出一种基于图神经网络的群体行为识别方法；本发明定义了一种新型的基于虚节点的图神经网络，可以学习到视频中丰富的时间空间特征，从而帮助对视频中的群体行为进行准确的识别。

为了达到上述目的，本发明采用以下技术方案：

一种基于图神经网络的群体行为识别方法，包括以下步骤：

特征提取，对单位时间视频端的个体进行检测，并依据检测到个体的位置，在空间和时间上进行视频切片，然后将视频切片输入到三维残差卷积网络进行特征提取，获取每个个体的特征表达与整个场景特征表达；

生成虚图，根据得到的每个个体的特征表达与场景特征表达，将每个个体视为图的一个节点，计为实节点，将所有实节点两两相连，得到全连接的无向图，在无向图中引入虚节点，将虚节点与原图中的节点连接，形成虚图；

对多个图进行虚拟节点引入形成的虚图进行图神经网络的更新，更新后的图神经网络层具有充分的特征表达能力；

构建图神经网络，表达图神经网络层，根据图神经网络层的表达式构建图神经网络模型；

群体行为识别，将完整的虚图导入到图神经网络模型，进行非线性变换归一化处理，对预测类标和真实类标进行误差计算。

进一步的，所述特征提取具体为：

对于单位时间的视频段，随机采样图像并按时间顺序排列；

将最后一帧图像送进yolo-v3检测网络，得到多个包含个体的检测框；

对于每个个体的检测框，按照检测框的位置和大小，对随机抽取图片进行截取；

对每个截取的分割图，对其大小进行改变并将多张同个检测框的分割图按时间顺序叠加，得到图像块；

将图像块送入三维残差卷积神经网络进行特征提取，特征取残差网络最后一个池化层的输出，特征维度为512维。