[发明专利]一种基于图神经网络的群体行为识别方法

权利要求书

1.一种基于图神经网络的群体行为识别方法，其特征在于，包括以下步骤：

特征提取，对单位时间视频端的个体进行检测，并依据检测到个体的位置，在空间和时间上进行视频切片，然后将视频切片输入到三维残差卷积网络进行特征提取，获取每个个体的特征表达与整个场景特征表达；

生成虚图，根据得到的每个个体的特征表达与场景特征表达，将每个个体视为图的一个节点，计为实节点，将所有实节点两两相连，得到全连接的无向图，在无向图中引入虚节点，将虚节点与原图中的节点连接，形成虚图；

对多个图进行虚拟节点引入形成的虚图进行图神经网络的更新，更新后的图神经网络层具有充分的特征表达能力；所述图神经网络的更新具体为：

对所有节点特征进行一个线性变换，每个节点特征线性变换后得到的特征y_i表示为：

y_i＝Θx_i

其中Θ为一个所有节点共享的线性变换矩阵，x_i为节点特征,Θ∈R^F′xF，x_i∈R^F，y_i∈R^F′，R代表实数空间，其右上角上标为实数空间的维度，R^F代表其为F维的实数空间，R^F′代表其为F′维的实数空间，R^F′xF代表其为F′xF维的实数空间；Θ是一个可学习的参数，由所有节点特征共享；

构建图神经网络，表达图神经网络层，根据图神经网络层的表达式构建图神经网络模型；所述构建图神经网络具体为：

构建图神经网络层，用如下公式表示：

其中Θ∈R^F′xF，a∈R^3F′为学习参数；β_ij为α_ij未进行归一化时的数值；

图神经网络层将虚图的节点特征集合X作为输入，将新的节点特征集合X′作为输出，将其抽象为：

X′＝f(X)

将n个图神经网络层叠加，将当前层的输出作为下一层的输入，则图神经网络第L层表示为：

X^L＝f^L(X^L-1)

其中1L≤n，X^L-1为第L层输入的节点特征集合；为表征整个图的特征，将最后一层图神经网络层输出的所有节点特征进行平均，作为该图的全局特征h_graph，表示如下：

其中N为图节点的个数，Xⁿ为图神经网络第n层的节点特征集合；

群体行为识别，将完整的虚图导入到图神经网络模型，进行非线性变换归一化处理，对预测类标和真实类标进行误差计算。

2.根据权利要求1所述的一种基于图神经网络的群体行为识别方法，其特征在于，所述特征提取具体为：

对于单位时间的视频段，随机采样图像并按时间顺序排列；

将最后一帧图像送进yolo-v3检测网络，得到多个包含个体的检测框；

对于每个个体的检测框，按照检测框的位置和大小，对随机抽取图片进行截取；

对每个截取的分割图，对其大小进行改变并将多张同个检测框的分割图按时间顺序叠加，得到图像块；

将图像块送入三维残差卷积神经网络进行特征提取，特征取残差网络最后一个池化层的输出，特征维度为512维。

3.根据权利要求2所述的一种基于图神经网络的群体行为识别方法，其特征在于，所述yolo-v3使用的是经过COCO数据库预训练的参数；所述三维残差卷积神经网络使用经过Kinetics预训练的34层三维残差卷积网络参数。