[发明专利]一种基于深度学习的校园安全视频监测方法

说明书

本发明公开了一种基于深度学习的校园安全视频监测方法，对用于视频识别的动作类别进行样本增强，从而得到更加丰富且均衡的样本，然后通过将2D与3D融合的方式实现了低消耗的情况下进行长时间的视频实时动作识别，同时事先提取出时域特征和空域特征中相关联的互补信息并融合回时域特征和空域特征中，实现了更加精准的训练。综上所述，本发明通过上述操作做到了低消耗下的长时间视频实时识别预警的同时，还通过丰富样本库和对提取的特征进行互补，实现了报警识别的更加精准。

技术领域

本发明属于机器学习领域，具体地说，涉及一种基于深度学习的校园安全视频监测方法。

背景技术

安全一直是社会讨论的热点话题，尤其是校园安全，更是重中之重，孩子是世界的未来，更加需要社会用更多的精力去呵护。校园是学生的聚集之地，人员密集，对于中学及其以下的孩子来说，处于身体发育期，不够强壮，不能很好地保护自身；而对于高等院校来说，高等院校是一个较为开放的环境，除了学生以外，还会有更多社会人士的出入，由于没有实行封闭管理，更容易出现一些危险的事故。

现有的监控多为保安对着监控器进行探查，但人力有时尽，无法做到同一时间对所有的视频区域都做到关注，且人的精力有限无法做到24小时全神贯注到所有的视频内容，并进行判断；监控的作用，多数情况都是严重事故已经发生了，当事人或有关部门对于事发时的视频进行调取，来证明事故的发生，而非使用监控作为一个实时的事故警报。

而现有技术在此之上通过使用深度学习进行视频的异常动作识别的技术基于规则实现，需要在监控中画辅助线、当画面中有人进入指定区域，达到相关规则触发报警，或者说检测到单张画面有规定物品如火焰、烟雾等，才触发报警。对于纯3D的卷积网络，开销极大，无法做到长时间的信息识别。同时现有技术中对于视频动作类别的识别方法，都将时域特征和空域特征分开进行提取，然后在后端进行特征的融合，这样在样本中时域特征与空域特征中相关联的关键信息则在处理中被忽略掉了。且在深度学习中，因现有的图片样本非常丰富，而视频样本量远远少于图片样本量，对于视频中的动作类别进行训练识别的样本则更加匮乏，这对于实际训练的识别精度会有很大影响。

发明内容

本发明针对现有技术3D卷积网络对视频进行深度学习开销极大，不适用与实时视频监控的问题，提出了一种基于深度学习的校园安全视频监测方法，通过2D融合3D深度卷积网络，解决了纯粹3D卷积网络开销大的问题，且把2D的特征通过3D网络融合起来，不需要将视频保存后再分析，实现了在线实时监测。

本发明具体实现内容如下：

一种基于深度学习的校园安全视频监测方法，首先训练预训练模型，然后进行校园监控视频特征提取，最后进行异常分类打分；所述校园监控视频特征提取的具体步骤为：

步骤S1、以16帧为一组，将一段连续的监控视频分为多组小片段；

步骤S2、对每一组小片段中的16帧图像按照间隔1帧的原则进行采样得到8张采样图像，并将8张采样图像送入2D卷积网络进行预测处理，得到8张2D特征图；

步骤S3、将每8张2D特征图作为一组特征图进行保存，当收集满5组特征图时，按照1:1:2:4:8的比例，从5组特征图中进行随机采样，从5组特征图中，最先获得的两组特征图中各随机采样1张特征图，从第三个获得的一组特征图中随机抽样2张特征图，从第四个获得的一组特征图中随机抽样4张特征图，从最新获得的一组特征图中采样全部8张特征图；

步骤S4、将所述步骤S3中从五组特征图中采样获得的共16张特征图送入3D卷积网络进行异常分类打分；

步骤S5、将采样后的五组特征图丢弃，继续提取后续视频进行上述步骤S1-步骤S4的处理。

为了更好地实现本发明，进一步地，所述异常分类打分的具体操作为：

步骤SA、对送入3D卷积网络的16张特征图进行时域序列特征和空域序列特征的提取；