[发明专利]一种基于深度学习的视频监控异常识别方法及系统

摘要

本发明公开了一种基于深度学习的视频监控异常识别方法及系统，涉及视频监控异常识别领域；其方法包括：1)采集监控视频流的第一帧，将第一帧作为当前帧和参考帧；2)基于步骤1从特征提取网络获取当前帧特征图和参考帧特征图；3)判断当前帧特征图和参考帧特征图的差异值是否大于阈值，若是，则当前帧为异常帧，对其进行异常识别后，跳至步骤4；若否，则当前帧无异常，跳至步骤5；4)将监控视频流的下一帧作为当前帧，将异常帧作为参考帧后跳至步骤2；5)将监控视频流的下一帧作为当前帧，保持此时的参考帧不变后跳至步骤2；本发明解决了现有视频监控仅通过比较图像的像素值进行异常识别，导致无法识别异常类型、识别准确率低的问题。 1

主权项

1.一种基于深度学习的视频监控异常识别方法，其特征在于：包括如下步骤：

步骤1：采集监控视频流的第一帧，将第一帧作为当前帧和参考帧；

步骤2：基于当前帧和参考帧从特征提取网络获取当前帧特征图和参考帧特征图；

步骤3：判断当前帧特征图和参考帧特征图的差异值是否大于阈值，若是，则当前帧为异常帧，对其进行异常识别后，跳至步骤4；若否，则当前帧无异常，跳至步骤5；

步骤4：将监控视频流的下一帧作为当前帧，将异常帧作为参考帧后跳至步骤2；

步骤5：将监控视频流的下一帧作为当前帧，保持此时的参考帧不变后跳至步骤2。

2.根据权利要求1所述的一种基于深度学习的视频监控异常识别方法，其特征在于：所述步骤2包括如下步骤：

步骤2.1：将当前帧和参考帧输入特征提取网络进行特征提取后，获得当前特征图和参考特征图。

3.根据权利要求2所述的一种基于深度学习的视频监控异常识别方法，其特征在于：所述特征提取网络包括24个卷积层。

4.根据权利要求3所述的一种基于深度学习的视频监控异常识别方法，其特征在于：所述步骤3包括如下步骤：

步骤3.1：根据当前帧特征图获得当前帧特征向量，根据参考帧特征图获得参考帧特征向量；

步骤3.2：将当前帧特征向量和参考帧特征向量分别代入马氏距离公式得到差异值，马氏距离公式如下：

步骤3.3：判断差异值是否大于阈值，若是，则当前帧为异常帧，跳至步骤3.4利用YOLO算法进行异常识别；若否，则当前帧无异常，跳至步骤5；

步骤3.4：在YOLO算法中的全连接层进行异常识别后结合时钟模块和存储模块记录异常识别的类型、位置和时间后，并跳至步骤4；

5.根据权利要求4所述的一种基于深度学习的视频监控异常识别方法，其特征在于：所述步骤3.4包括如下步骤：

步骤3.41：将当前图像压缩并将压缩后的图像分为N*N网格；

步骤3.42：检测落入每个网格的物体，每个网格输出B个bounding box信息(包含位置、尺度和confidence)和C个conditional class probability(条件类别概率)；

步骤3.43：将步骤3.42所得代入维度公式定义识别结果所用到的数据，维度公式如下：S＝N*N(B*5+C)；

步骤3.44：根据每个bounding box信息中的confidence与conditional class probability(条件类别概率)相乘得到每个bounding box的具体类别的confidence score，判断其是否大于阈值，若是，则得出异常识别的类别；

步骤3.45：时钟模块记录对应时间后，并利用存储模块将异常信息(类别、位置和尺度)和时间记录保存。

6.一种基于深度学习的视频监控异常识别系统，其特征在于：包括

图像采集模块，用于采集监控画面后获取当前帧，并将当前第一帧作为参考帧；

异常检测模块，用于从特征提取网络中获取当前帧特征图和参考帧的特征图，并根据其进行异常检测，若异常，则将异常帧送至异常识别模块进行异常识别并将异常帧作为参考帧进行下一轮的异常检测，若正常则继续获取当前帧；

异常识别模块，用于根据异常帧使用YOLO算法获取异常的类别及位置信息；

时钟模块，用于获取异常帧的时间戳；

控制中心，用于控制图像采集模块的图像采集、调用时钟模块以及控制异常检测模块和异常识别模块；

存储模块，用于存储异常帧的时间戳、异常的类别和位置信息。

7.根据权利要求6所述的一种基于深度学习的视频监控异常识别系统，其特征在于：所述异常检测模块包括特征提取网络，所述特征提取网络包括24个卷积层，所述卷积层用于提取图像特征。

8.根据权利要求7所述的一种基于深度学习的视频监控异常识别系统，其特征在于：所述异常识别模块包括2个全连接层，所述连接层用于获取图像中物体的位置及其类别的概率值。