[发明专利]基于非局部网络深度学习的视频异常行为判别方法

权利要求书

1.基于非局部网络深度学习的视频异常行为判别方法，其计算处理步骤如下，其特征在于：将视频数据分为正负包并切割成示例后使用多示例学习结合非局部网络进行异常行为判别，使用多示例学习的思路构建训练集合，定义和标注视频数据，采用非局部网络进行视频样本的特征提取，再通过弱监督的学习方法建立回归任务，训练模型，方法包括如下步骤：

(1)将视频分为正负包，并平均分割作为示例；

(2)将步骤(1)得到的视频数据送入在Kinetics数据库训练好的非局部网络，进行特征提取；

所述步骤(1)中对视频数据进行分包和分割，具体步骤为：

步骤2.1：将数据集中的一个视频定义为一个包，异常行为类别的视频为正包，将视频平均截成8段作为示例，示例不具有正负标签；

将经过步骤2.1后的视频片段送入在Kinetics数据库训练好的非局部网络，进行特征提取：

步骤3.1：建立非局部网络NL-I3D特征提取网络模块，该模块采用在ImageNet数据集上预训练的残差网络ResNet50模型经过卷积核“扩充”从而得到的I3D网络，并加入非局部NL层；

1)I3D网络由残差网络ResNet50结构的卷积神经网络经过维度扩充获得，设卷积核的长宽均为k，深度为t，卷积核由k×k扩充到t×k×k获得，该核从在ImageNet数据集上进行预训练的二维模型初始化：t×k×k核中的t个层面都由预训练的k×k权值初始化，重缩放为原来的

2)非局部层的结构，本步骤中非局部层的数学公式为：

其中i是要计算响应的输出位置，即在空间、时间或时空中的索引，j是枚举的所有可能位置的索引，x为输入信号，y是输出信号，f(x_i，x_j)是两点之间的关联系数，g(x_j)为是x_j点中包含的信息，g采用1×1×1卷积完成，即以f为权重，将信息g进行加权求和，C(x)为其归一化系数；

3)非局部层添加在I3D网络的残差结构层res4和res3层，分别添加3个和2个非局部层，放置在最后的对应个数的残差结构之前；

4)在Kinetics数据集上训练模型，I3D网络中参数按ImageNet数据集上预训练模型进行初始化，非局部层参数初始化为0，训练并保存模型；

步骤3.2：将经过步骤2.1后的视频片段送入步骤3.1中完成的NL-I3D网络中，提取网络的全连接fc层，获得特征；

(3)将上一步得到的特征信息送入全连接网络，得到异常评分；

所述步骤(3)中全连接网络：

步骤4.1：将步骤3.2中获得的特征进行l2正则化，将这些特征1000D输入到一个三层的全连接神经网络中，全连接层分别有512个单元，32个单元和1个单元； 在全连接层之间使用60％的随机舍弃；

(4)按照多示例学习思想所建立的排序损失来训练步骤(3)中的全连接网络；

所述步骤(4)中排序损失的建立：

步骤5.1：将异常检测定义为一个回归任务，即异常样本的异常值要高于通常样本，将排序损失定义为：

f(V_a)＞f(V_n)

其中V_a和V_n分别为异常和通常样本，f则为模型预测函数，由于在多示例学习中，并不知道正包中每个样本的真实标签，所以采用以下的形式：

即训练中对于正包和负包都只使用分数最大的样本来训练，基于此式，为了让正负样本之间的距离尽可能远，采用hinge损失的形式，损失函数为：

由于视频片段是连续的，所以异常的分数也应该是相对平滑的，由于正包中的正样本比例很低，所以正包里面的分数应该是稀疏的； 因此在损失函数中添加了两个约束项，分别为时序平滑约束以及稀疏约束，即：

添加模型参数的l2正则，得到最后的损失函数：

L(W)＝l(B_a，B_n)+||W||_F

步骤5.2：采用步骤5.1中得到的排序损失函数计算出在正包和负包中得分最高的示例之间的排序损失，并回传更新权重，训练步骤4.1中建立的全连接网络。