[发明专利]基于大数据平台的管道泄漏辅助检测系统

摘要

本发明提供一种基于大数据平台的管道泄漏辅助检测系统，包括基于Hadoop的HA部署模式下的集群，以及处理大规模数据计算引擎Spark,针对所采集到的历史数据和实时数据，运用朴素贝叶斯算法，进行离线数据的训练学习和实时数据的预测分析，以便辅助液体管道运输中的泄漏检测。本发明提供的辅助检测系统实时地从采集点快速采集数据，再进行实时的在线分析与计算，以能够及时发现管道泄漏状况，进而及时报警。本发明提供的技术方案基于积累的历史数据，进行离线分析与建模，实现工况的识别和监测，为泄漏检测提供辅助依据。而且，本发明提供的技术方案运用朴素贝叶斯算法区分工况与管道泄漏，降低了误报率。

主权项

1.一种基于大数据平台的管道泄漏辅助检测系统，其特征在于，包括大数据批处理框架和大数据流计算框架，所述大数据批处理框架包括Hadoop架构的MapReduce模块，所述大数据批处理框架设置有基于HDFS和MapReduce的Hive模块，所述Hive模块为大数据的批处理提供接口，所述大数据批处理框架设置有SparkSQL模块，所述SparkSQL模块用于实现基于数据库查询语言的大数据离线批处理；所述大数据流计算框架包括Spark引擎的Spark Streaming模块，所述Spark Streaming模块用于对输入的数据流进行分割形成为Micro‑Batches，对分割形成的Micro‑Batches进行处理；所述辅助检测系统还包括数据采集层、ZooKeeper模块、数据访问层和HDFS分布式文件系统；所述ZooKeeper模块用于协调调度所述辅助检测系统的各个模块；所述数据采集层的Flume模块和Kafaka模块用于采集历史数据和实时数据，而且将所述历史数据和所述实时数据传输至所述HDFS分布式文件系统；所述HDFS分布式文件系统用于存储所述历史数据和所述实时数据；所述Spark Streaming模块用于根据朴素贝叶斯算法进行离线数据的训练学习和实时数据的预测分析；所述数据访问层用于显示分析结果，根据所述分析结果对管道泄漏状况进行判断。