[发明专利]一种基于Hadoop集群架构的盾构TBM大数据平台系统及建设方法

权利要求书

1.一种基于Hadoop集群架构的盾构TBM大数据平台系统，其特征是，包括数据采集模块（1）、Hadoop集群服务器（2）和盾构TBM大数据平台（3）；盾构TBM大数据平台包括智能监控模块（4）、综合分析模块（5）、协同管理模块（6）及大数据应用模块（7）；所述Hadoop集群服务器包括Hadoop服务器（8）、Kafka服务器（9）和数据库服务器（10）；所述数据采集模块包括数据专用采集装置（11）和与专用采集装置适配的数据采集软件；所述智能监控模块主要包括地图巡航（12）、参数实时监控（13）及视频监控（14）；所述综合分析模块主要包括工程断面图绘制模块（15）、参数分析（16）、管片姿态分析模块（17）和地面沉降分析模块（18）；所述协同管理模块主要包括基本信息模块（19）、决策管理（20）、风险管理（21）、设备管理（22）、施工管理（23）及测量管理（24）；所述大数据应用模块主要包括数据词典（25）、地质词典（26）、关联分析（27）和移动平台（28）。

2.根据权利要求1所述的基于Hadoop集群架构的盾构TBM大数据平台系统，其特征是，所述数据专用采集装置配置于盾构机或者上位机上。

3.根据权利要求1所述的基于Hadoop集群架构的盾构TBM大数据平台系统，其特征是，所述Hadoop集群服务器还包括数据采集服务器及web服务器；Hadoop集群服务器还包括Flume、HDFS、HBase、Hive、Nosql、MapReduce、Redis、Zookeeper、Spark、Sqoop插件。

4.一种基于权利要求1、2和3所述的Hadoop集群架构的盾构TBM大数据平台系统的建设方法，其特征是，包括下述步骤：

（4-1）数据采集模块对数据进行远程实时采集传输，明确盾构TBM装备所采集的数据源、数据类型；

（4-2）大数据应用模块进行数据处理，建立数据字典，并通过清洗、去噪等技术手段对海量数据进行预处理，而后传输至Hadoop集群服务器进行存储和分析；

（4-3）Hadoop集群服务器进行数据存储与计算，将经过预处理的海量数据进行分类存储；

（4-4）综合分析模块进行数据分析、数据建模，通过画像模型、运行监测模型、地理环境模型、施工过程模型等各种数据模型，为实现应用功能提供支持；

（4-5）数据应用，通过web服务器发布数据分析结果，实现对盾构TBM的智能监控模块、综合分析模块、协同管理模块及多种大数据深度应用，进行工程断面图形绘制、管片姿态分析、地面沉降分析。

5.根据权利要求4所述的基于Hadoop集群架构的盾构TBM大数据平台系统的建设方法，其特征是，步骤（4-1）包括下述步骤：

（5-1）数据采集模块解析盾构TBM装备的PLC变量地址；

（5-2）数据采集模块配置专用数据采集器及数据采集软件，通过PLC变量地址读取设备的实时运行数据；

（5-3）数据采集模块通过读取盾构机或上位机的数据库文件等形式读取导向数据；

（5-4）数据采集模块实时发送数据到Hadoop集群数据采集服务器，完成数据采集。

6.根据权利要求5所述的基于Hadoop集群架构的盾构TBM大数据平台系统的建设方法，其特征是，所述数据采集软件通过软件界面设定采集方法包括PLC数据直接采集、文件形式采集及PLC数据和文件形式结合采集。

7.根据权利要求4所述的基于Hadoop集群架构的盾构TBM大数据平台系统的建设方法，其特征是，步骤（4-2）包括下述步骤：

（7-1）大数据应用模块建立数据字典将不同类型、不同厂家、不同描述的数据根据同一性质的原则进行统一字典编码；

（7-2）利用Hadoop集群服务器中的Flume插件将数据从数据采集服务器存储至HDFS分布式存储系统；

（7-3）利用Hadoop集群服务器中的MapReduce进行数据清洗和去噪；

（7-4）将处理过的数据上传至盾构TBM大数据平台。

8.根据权利要求4所述的基于Hadoop集群架构的盾构TBM大数据平台系统的建设方法，其特征是，步骤（4-3）包括下述步骤：

（8-1）Spark程序从kafka的队列中获取数据；

（8-2）Hadoop集群服务器从redis的数据库读取系统的配置信息，对数据进行检测和补充；

（8-3）Spark计算框架集群和Zookeeper分布式协作服务对异构海量数据进行深度分析和挖掘；

（8-4）利用Sqoop插件将分析好的数据导入数据库服务器。