[发明专利]一种基于深度学习的校园安全视频监测方法

权利要求书

1.一种基于深度学习的校园安全视频监测方法，首先训练预训练模型，然后进行校园监控视频特征提取，最后进行异常分类打分，其特征在于，所述校园监控视频特征提取的具体步骤为：

步骤S1、以16帧为一组，将一段连续的监控视频分为多组小片段；

步骤S2、对每一组小片段中的16帧图像按照间隔1帧的原则进行采样得到8张采样图像，并将8张采样图像送入2D卷积网络进行预测处理，得到8张2D特征图；

步骤S3、将每8张2D特征图作为一组特征图进行保存，当收集满5组特征图时，按照1:1:2:4:8的比例，从5组特征图中进行随机采样，从5组特征图中，最先获得的两组特征图中各随机采样1张特征图，从第三个获得的一组特征图中随机抽样2张特征图，从第四个获得的一组特征图中随机抽样4张特征图，从最新获得的一组特征图中采样全部8张特征图；

步骤S4、将所述步骤S3中从五组特征图中采样获得的共16张特征图送入3D卷积网络进行异常分类打分；

步骤S5、将采样后的五组特征图丢弃，继续提取后续视频进行上述步骤S1-步骤S4的处理。

2.如权利要求1所述的一种基于深度学习的校园安全视频监测方法，其特征在于，所述异常分类打分的具体操作为：

步骤SA、对送入3D卷积网络的16张特征图进行时域序列特征和空域序列特征的提取；

步骤SB、将提取后的时域序列特征和空域序列特征进行信息交互，得到时域序列特征和空域序列特征的互补信息；

步骤SC、将互补信息分别与时域序列特征和空域序列特征进行互补，得到互补后的时域序列特征和互补后的空域序列特征；

步骤SD、将互补后的时域特征和互补后的空域特征进行序列特征聚合，得到时域特征和空域特征。

3.如权利要求2所述的一种基于深度学习的校园安全视频监测方法，其特征在于，将时域特征和空域特征同时进行正则化处理，再输入共享权值层，从而提取出时域特征分数和空域特征分数；然后将时域特征分数和空域特征分数进行融合，得到用于预测监控视频中动作类别的预测时空特征分类分数向量。

4.如权利要求3所述的一种基于深度学习的校园安全视频监测方法，其特征在于，所述训练预训练模型的具体步骤为：

步骤Sa、先使用包含多种动作类别id的数据集进行第一次模型训练，并为每个动作类别id确定类中心；

步骤Sb、然后设定相似阈值t，筛选出数据集中每个动作类别id中与类中心相似度大于相似阈值t的样本；

步骤Sc、对筛选出的与类中心相似度大于相似阈值t的样本进行样本增强，所述样本增强包括投影变换、明暗调节、色彩变换；所述样本增强的力度根据实际情况调节；

步骤Sd、对进行了样本增强后的样本图片与对应的样本类中心进行比较，选出相似度在（a，b）区间范围内的增强后的样本，并使用选出的样本进行第二次模型训练，并将第二次训练后的模型用于后续异常操作。

5.如权利要求4所述的一种基于深度学习的校园安全视频监测方法，其特征在于，在选出与类中心的相似度在（a，b）区间范围内的增强后的样本后，还要生成一项用于抽样的抽样序列，所述抽样序列的元素为各动作类别id的id序号；每个id序号在所述抽样序列中出现的次数为h，所述次数h为可变值，根据实际需要的样本数量及数据集的样本大小进行调节。

6.如权利要求4或5任一项所述的一种基于深度学习的校园安全视频监测方法，其特征在于，所述第二次模型训练时同样生成时域特征和空域特征，并计算出交叉熵损失函数L1、异构三连体对损失函数L2、判别嵌入限制损失函数L3，将三个函数结合为第二次模型训练的损失函数L进行模型训练，得到各动作类别id的类别索引。

7.如权利要求6所述的一种基于深度学习的校园安全视频监测方法，其特征在于，将生成的预测时空特征分类分数向量按照从大到小的顺序进行排序，值最大的预测时空特征分类分数向量对应的类别索引即代表了监控视频中的动作类别。