[发明专利]一种视频监控中异常场景处理方法及系统

说明书

本公开提供了一种视频监控中异常场景处理方法及系统。其中，视频监控中异常场景处理方法，包括：接收连续的视频监控若干帧视频数据；将这些视频数据逐帧输入至训练好的C‑NIC‑R模型，输出从异常场景开始至结束时间段内的视频片段；其中，C‑NIC‑R模型由依次串联的CNN模型、NIC模型和RNN模型；CNN模型用于根据接视频数据，检测相应帧视频中有无异常场景，若有，则输出从异常场景开始时间点起之后的视频数据至NIC模型；NIC模型用于将接收到的视频数据转化为自然语言描述；RNN模型用于将相应帧视频数据对应的自然语言描述与异常场景开始时刻对应的自然语言描述进行相似度比较，确定异常场景结束时间点及其对应的视频帧。

技术领域

本公开属于监控视频中异常场景处理领域，尤其涉及一种视频监控中异常场景处理方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

随着社会的迅速发展，视频监控越来越成为安全管理的重要方法之一。基于计算机视觉和深度学习发展而形成的智能视频监控系统，在公安调查获取案件实际情况的过程中做出了重要的贡献。目前，国内一、二线城市基本实现视频监控公共场所全覆盖，有力的保障了城市市民的整体安全。但是近几年来出现的一些社会问题中，尤其涉及到如民用机场、火车站、大型商场、学校等公共场所时，在因某些原因查询相关视频数据时，大多出现了关键视频数据不清晰、甚至丢失等各种问题。这直接阻碍了还原客观事实的进程。而出现这些问题的原因有很多，如监控操作人员主观操作不当、他人蓄意修改视频数据等主观原因导致关键视频数据丢失和存储设备本身容量客观条件不达标等。

发明人发现，使用传统的计算机视觉方法在线判断监控视频中的各种异常场景主要有以下两个问题：一是处理结果肉眼识别率较低；二是在线处理等待时间较长。这两个问题直接导致了整体识别效率较低。目前市场上很多的存储硬件容量无法达到长时间存储视频数据的要求，尤其是一些高清摄像视频数据，每小时会产生3～8G视频数据。即便使用云存储，也会面临视频数据上传速度受网速影响、存储容量有限、数据被蓄意修改等问题。

发明内容

为了解决上述问题，本公开提供一种视频监控中异常场景处理方法及系统，其能够实时准确地对视频监控中异常场景进行识别，能够在线实时判断有无异常场景及类型，既可以保证较高正确率，又能满足实时性的要求。

为了实现上述目的，本公开采用如下技术方案：

本公开的第一方面提供一种视频监控中异常场景处理方法。

一种视频监控中异常场景处理方法，包括：

接收连续的视频监控若干帧视频数据；

将这些视频数据逐帧输入至训练好的C-NIC-R模型，输出从异常场景开始至结束时间段内的视频片段；

其中，C-NIC-R模型由依次串联的CNN模型、NIC模型和RNN模型组成；

CNN模型用于根据接视频数据，检测相应帧视频中有无异常场景；若存在异常场景，则输出从异常场景开始时间点起之后的视频数据至NIC模型中；

NIC模型用于将接收到的视频数据转化为自然语言描述；

RNN模型用于将相应帧视频数据对应的自然语言描述与异常场景开始时间点对应的自然语言描述进行相似度比较，确定异常场景结束时间点及其对应的视频帧。

作为一种实施方式，所述视频监控中异常场景处理方法还包括：

若C-NIC-R模型中的CNN模型检测到相应帧视频中有异常场景，则记录下异常场景开始时间点、异常场景类型及拍摄异常场景的设备相关信息并输出告警信息。