[发明专利]基于大数据平台的管道泄漏辅助检测系统

权利要求书

1.一种基于大数据平台的管道泄漏辅助检测系统，其特征在于，包括大数据批处理框架和大数据流计算框架，所述大数据批处理框架包括Hadoop架构的MapReduce模块，所述大数据批处理框架设置有基于HDFS和MapReduce的Hive模块，所述Hive模块为大数据的批处理提供接口，所述大数据批处理框架设置有SparkSQL模块，所述SparkSQL模块用于实现基于数据库查询语言的大数据离线批处理；

所述大数据流计算框架包括Spark引擎的Spark Streaming模块，所述SparkStreaming模块用于对输入的数据流进行分割形成为Micro-Batches，对分割形成的Micro-Batches进行处理；

所述辅助检测系统还包括数据采集层、ZooKeeper模块、数据访问层和HDFS分布式文件系统；所述ZooKeeper模块用于协调调度所述辅助检测系统的各个模块；所述数据采集层的Flume模块和Kafaka模块用于采集历史数据和实时数据，而且将所述历史数据和所述实时数据传输至所述HDFS分布式文件系统；所述HDFS分布式文件系统用于存储所述历史数据和所述实时数据；所述Spark Streaming模块用于根据朴素贝叶斯算法进行离线数据的训练学习和实时数据的预测分析；所述数据访问层用于显示分析结果，根据所述分析结果对管道泄漏状况进行判断。

2.根据权利要求1所述的基于大数据平台的管道泄漏辅助检测系统，其特征在于，所述Flume模块还用于将所述历史数据和所述实时数据传递给所述Kafaka模块；

所述Kafaka模块还用于将所述历史数据和所述实时数据存储至HBASE模块。

3.根据权利要求2所述的基于大数据平台的管道泄漏辅助检测系统，其特征在于，所述HBASE模块是基于HDFS的面向海量结构化、半结构化数据的分布式NoSQL列式数据库。

4.根据权利要求1所述的基于大数据平台的管道泄漏辅助检测系统，其特征在于，所述Spark引擎用于接收来自于Kafaka模块的数据流，所述Spark Streaming模块用于进行在线的实时分析，而且定期读取所述HBASE模块之中的历史数据，进行离线的分析和建模。

5.根据权利要求4所述的基于大数据平台的管道泄漏辅助检测系统，其特征在于，还包括MySQL数据库，所述MySQL数据库用于存储实时分析的报警数据和离线分析的数据。

6.根据权利要求5所述的基于大数据平台的管道泄漏辅助检测系统，其特征在于，所述数据访问层的前端界面用于从所述HBASE模块之中读取实时数据，还用于从所述MySQL数据库之中读取离线分析结果和报警信息，进行可视化和报警。