[发明专利]基于Spark Streaming的视频监控预警方法及系统

说明书

本发明涉及物联网领域，本发明旨在解决现有技术无法满足海量监控数据的实时分析要求问题，提出一种基于Spark Streaming的视频监控预警方法，包括：实时获取监控视频流，对监控视频流进行预处理后得到特征图数据，根据特征图数据的主题将其发送至消息队列服务器；消息队列服务器将特征图数据发送至主题对应的分区，Spark Streaming根据监控设备ID对分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；判断特征向量参数与标准特征向量参数是否匹配，若是，且若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送对应类型的预警信息。本发明提高了视频监控预警的可靠性和实时性。

技术领域

本发明涉及物联网领域，具体来说涉及一种视频监控预警方法及系统。

背景技术

随着物联网的发展，各种监测数据越来越多，对海量数据的处理要求也越来越高，但是现有根据视频监控数据进行预警的处理过程中，主要是使用小型数据库进行存储，并且对其进行离线分析处理，无法满足海量数据的传输和实时分析要求。

数据处理引擎Spark Streaming是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据，包括Kafka、Flume、Twitter、ZeroMQ、Kinesis以及TCP sockets，从数据源获取数据之后，可以使用诸如map、reduce、join和window等高级函数进行复杂算法的处理。最后还可以将处理结果存储到文件系统，数据库和现场仪表盘。在“One Stack rule them all”的基础上，还可以使用Spark的其他子框架，如集群学习、图计算等，对流数据进行处理。

发明内容

本发明旨在解决现有的根据视频监控数据进行预警的方法无法满足海量监控数据的实时分析要求问题，提出一种基于Spark Streaming的视频监控预警方法及系统。

本发明解决上述技术问题所采用的技术方案是：基于Spark Streaming的视频监控预警方法，包括以下步骤：

步骤1.实时获取监控视频流，对所述监控视频流进行预处理后得到特征图数据，根据所述特征图数据的Topic将其发送至消息队列服务器；

步骤2.消息队列服务器将所述特征图数据发送至Topic对应的Spark分区，SparkStreaming根据监控设备ID对Spark分区中的特征图数据进行分组，对每组特征图数据分别进行空间向量算法分析得到特征图数据对应的特征向量参数；

步骤3.确定所述特征向量参数与聚类参考特征向量参数的距离，若所述距离小于或等于阈值，则表示监控图像特征与聚类参考特征向量参数匹配，若聚类参考特征向量参数是某一类型的异常特征向量参数，则发送与聚类参考特征向量参数对应类型的预警信息。

进一步的，为获得特征图数据，所述对监控视频流进行预处理后得到特征图数据包括：

将监控视频流转换为一系列的截帧图形，调整各截帧图形的分辨率，并对各截帧图形进行特征提取，将特征点转为结构化数据，并把结构化数据组装为特征图数据。

进一步的，为提高预警的准确性，所述方法还包括：

定期获取处于预设范围的特征向量参数并将其作为第一样本数据，根据所述第一样本数据进行聚类学习，将聚类学习的结果应用至Spark Streaming的空间向量算法分析中。

进一步的，为获取聚类参考特征向量参数，所述聚类参考特征向量参数通过以下方法获取：

接收上报事件，对所述上报事件进行预处理得到事件记录信息，根据所述事件记录信息的Topic将其发送至消息队列服务器；