[发明专利]基于大数据平台的管道泄漏辅助检测系统

说明书

本发明提供一种基于大数据平台的管道泄漏辅助检测系统，包括基于Hadoop的HA部署模式下的集群，以及处理大规模数据计算引擎Spark,针对所采集到的历史数据和实时数据，运用朴素贝叶斯算法，进行离线数据的训练学习和实时数据的预测分析，以便辅助液体管道运输中的泄漏检测。本发明提供的辅助检测系统实时地从采集点快速采集数据，再进行实时的在线分析与计算，以能够及时发现管道泄漏状况，进而及时报警。本发明提供的技术方案基于积累的历史数据，进行离线分析与建模，实现工况的识别和监测，为泄漏检测提供辅助依据。而且，本发明提供的技术方案运用朴素贝叶斯算法区分工况与管道泄漏，降低了误报率。

技术领域

本发明涉及管道泄漏检测的技术领域，尤其涉及一种基于大数据平台的管道泄漏辅助检测系统。

背景技术

随着石油管道输送工业的发展及管道泄漏事故频发造成的严重影响，管道泄漏检测技术得到了广泛的关注和研究。现有的管道泄漏检测方法很多，包括基于硬件、软件以及软硬件结合的方法，还有基于模型和非模型的方法。工况调节带来的压力波动与泄漏引起的压力波动极为相似，导致多工况下的泄漏检测变得更复杂。为了降低工况调节带来的误报率，提高检测的准确性，前人已从多方面展开研究工作：依据综合压力、流量信号的不同变化，进行工况识别和泄漏检测；通过提取压力信号的特征参数，运用模糊分类的方法实现工况调节与管道泄漏的区分；将动态压力信号相邻区间的特征差分值作为神经网络的输入来提高泄漏检测的工况适应性。上述方法在稳定的现场实验条件下取得了较好的检测效果，但是往往没有考虑到工况调节带来的影响。

发明内容

为解决现有技术存在的局限和缺陷，本发明提供一种基于大数据平台的管道泄漏辅助检测系统，包括大数据批处理框架和大数据流计算框架，所述大数据批处理框架包括Hadoop架构的MapReduce模块，所述大数据批处理框架设置有基于HDFS和MapReduce的Hive模块，所述Hive模块为大数据的批处理提供接口，所述大数据批处理框架设置有SparkSQL模块，所述SparkSQL模块用于实现基于数据库查询语言的大数据离线批处理；

所述大数据流计算框架包括Spark引擎的Spark Streaming模块，所述SparkStreaming模块用于对输入的数据流进行分割形成为Micro-Batches，对分割形成的Micro-Batches进行处理；

所述辅助检测系统还包括数据采集层、ZooKeeper模块、数据访问层和HDFS分布式文件系统；所述ZooKeeper模块用于协调调度所述辅助检测系统的各个模块；所述数据采集层的Flume模块和Kafaka模块用于采集历史数据和实时数据，而且将所述历史数据和所述实时数据传输至所述HDFS分布式文件系统；所述HDFS分布式文件系统用于存储所述历史数据和所述实时数据；所述Spark Streaming模块用于根据朴素贝叶斯算法进行离线数据的训练学习和实时数据的预测分析；所述数据访问层用于显示分析结果，根据所述分析结果对管道泄漏状况进行判断。

可选的，所述Flume模块还用于将所述历史数据和所述实时数据传递给所述Kafaka模块；

所述Kafaka模块还用于将所述历史数据和所述实时数据存储至HBASE模块。

可选的，所述HBASE模块是基于HDFS的面向海量结构化、半结构化数据的分布式NoSQL列式数据库。

可选的，所述Spark引擎用于接收来自于Kafaka模块的数据流，所述SparkStreaming模块用于进行在线的实时分析，而且定期读取所述HBASE模块之中的历史数据，进行离线的分析和建模。

可选的，还包括MySQL数据库，所述MySQL数据库用于存储实时分析的报警数据和离线分析的数据。

可选的，所述数据访问层的前端界面用于从所述HBASE模块之中读取实时数据，还用于从所述MySQL数据库之中读取离线分析结果和报警信息，进行可视化和报警。