[发明专利]一种基于局部图卷积网络的排球群体行为识别方法

权利要求书

1.基于局部图卷积网络的排球群体行为识别方法，其特征在于，包含如下步骤：

步骤1，提取个体局部特征：使用Inception-v3深度卷积神经网络来提取视频帧的特征图，使用RoI Algin根据输入的个体候选框位置提取个体视觉外观特征图；特征图上每一个位置的特征作为一个局部区域的特征；

步骤2，建立个体自连接图：以所有个体的所有局部区域特征集合作为图的节点集合，使用嵌入空间点乘的方式计算各节点之间边的权重，对得到的邻接矩阵施加个体自连接约束，令每个个体内各局部区域间存在相连的边，个体间的局部区域间不存在相连的边，建立个体自连接图；

步骤3，建立个体间连接图：个体间连接图的节点集合和边的权重计算方式与步骤2中建立个体自连接图的方式相同，区别在于对于邻接矩阵施加个体间连接约束，令每个个体间各局部区域存在相连的边，个体内的局部区域间不存在相连的边，建立个体间连接图；

步骤4，提取交互关系特征：在步骤2和步骤3中建立的个体自连接图和个体间连接图上进行图卷积运算来推理节点间的关系特征，通过最大池化运算来融合两种图输出的结果，完成关系特征图的提取；

步骤5，建立分类层：将深度卷积神经网络模型Inception-v3输出的原始视觉外观特征图和步骤4中得到的关系特征图相加进行融合，输入到全连接层输出个体分类特征进行个体行为的分类，将所有个体的分类特征通过最大池化计算得到群体特征进行群体行为的分类；

步骤6，训练模型：采用时域稀疏采样策略，在训练的时候将视频分为K个片段，然后从K个片段中各采样1帧，将K帧图像经过缩放进行预处理后，输入到网络模型中，网络同时处理K帧图像并将K帧的结果进行融合；使用Adam梯度下降方法进行优化，利用交叉熵函数评价模型性能并对模型参数进行学习；

步骤7，预测群体行为和个体行为：在测试的时候采用与步骤5相同的预处理方式，将视频帧输入到步骤4训练好的模型中，对每个视频帧预测个体行为和群体行为类别的得分，将所有帧的得分进行均匀池化来构成整段视频的预测得分。

2.根据权利要求1所述的方法，其特征在于：在所述步骤1中，给出一帧图像和N个个体的候选框其中n表示个体的索引，b_n表示第n个个体候选框的坐标，使用Inception-v3卷积神经网络提取帧图像的特征图，并使用RoIAlign根据每个目标的候选框与特征图的对应关系，提取出每个个体大小为H×W，通道为D维的视觉外观特征图F_n，D是网络中最后一个卷积层的卷积核个数；将大小为H×W的特征图中的每一个位置作为一个局部区域，每个局部区域都是一个D维特征向量，这个局部区域可能包括人的特定部位、衣服或背景等；定义第n个个体的局部特征集合为其中表示第n个人的第m个局部区域的特征，M＝H*W是局部区域的总个数。