[发明专利]一种背景抑制采样的弱监督异常事件时间定位方法

权利要求书

1.一种背景抑制采样的弱监督异常事件时间定位方法，其特征在于：具体包括以下步骤：

步骤1、对未裁剪的视频采样处理，提取双流特征；

步骤2、根据提取的双流特征进行基于高斯随机采样的背景类激活预测，得到背景类激活预测的损失函数；

步骤3、根据提取的双流特征进行基于多时间尺度随机采样的背景类抑制预测，得到背景类抑制预测的损失函数；

步骤4、根据得到的背景类激活预测的损失函数和背景类抑制预测的损失函数进行弱监督异常事件时间定位模型训练，得到异常事件时间定位模型参数集合；

步骤5、根据得到的异常事件时间定位模型参数集合进行弱监督异常事件时间定位测试，确定异常事件时间定位的起点和终点。

2.根据权利要求1所述的一种背景抑制采样的弱监督异常事件时间定位方法，其特征在于：所述的步骤1的具体内容如下：

步骤1-1、对训练视频集合中得到的一个视频，采取等时间间隔采样的方法，获得RGB图像，并且通过TV-L1光流算法获得光流图像，一个视频的样本集合记为X_n＝{x_n,t},其中n是视频编号，t是视频帧编号；

步骤1-2、将一个视频样本的RGB图像和光流图像，分别输入到双流网络，使用膨胀三维卷积网络I3D，提取每个样本的外观特征和光流特征，将两种特征串联作为该视频样本的双流特征，一个视频的双流特征集合记为F_n＝{f_n,t}。

3.根据权利要求2所述的一种背景抑制采样的弱监督异常事件时间定位方法，其特征在于：所述的步骤2的具体内容如下：

步骤2-1、对步骤1得到的双流特征F_n，使用一维时序卷积获得类别得分S_n＝conv(F_n)

其中，一维时序卷积核的时间长度为1，表示视频的每个视频样本的类别得分，是矩阵的尺寸为T×(C+1)；n是视频编号，t是视频帧编号，c是类别通道编号，c取值范围是[1,C+1]；T是视频时间片段的数量；C+1个类别包括C个动作类以及1个背景类；

步骤2-2、对类别得分进行高斯随机采样，第c个类别采样后的样本集合为：

其中，s_n,t,c是第n个视频的第t个时间片段第c个类别的得分，I[s_n,t,c＞g]表示第c个类别得分高于随机阈值g的视频样本，随机阈值服从高斯分布g～N(u,σ)，其中高斯分布均值为u，方差为σ，大于阈值的样本为保留的前景样本，小于阈值的样本为抑制的背景样本；

步骤2-3、对每个类别得分执行步骤2-2，获得每个类别的采样集合；

步骤2-4、根据采样后集合，获得视频级每个类别的得分向量其中每个类别的视频级得分为

步骤2-5、使用softmax函数将该视频级得分向量归一化到[0,1]之间，获得归一化后的得分向量为

该得分向量为背景类激活预测的类别得分；

步骤2-6、根据背景类激活预测的类别得分，计算其分类损失，损失函数如下：

其中，N是视频中根据类别得分进行高斯随机采集的时间片段数量；是人工标签，表示第n个视频的视频级背景类激活得分，设置第c+1个类别的得分恒等于1。