[发明专利]水利水电大数据架构建设方法

摘要

一种水利水电大数据架构建设方法，包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统，包括可用数据的采集和存储，水利水电大数据的挖掘，对比数据的提取及水利水电大数据的分析四个步骤。本发明的水利水电大数据架构建设方法相对于传统大数据分析方法，可实现对水利水电行业数据进行体系化的采集、挖掘、分析并形成指导数据，有利于提高水利水电工程建设绩效和质量管控水平，同时提高了水利水电工程的信息化管理水平。

主权项

一种水利水电大数据架构建设方法，其特征在于，包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统，包括以下几个步骤：（a）可用数据的采集和存储：水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术，对互联网、水利水电大数据所在内网中的可用数据进行采集，对可用数据进行META数据校验分析，校验分析后的数据交由水利水电大数据分布服务器节点控制系统进行分类存储； META数据校验分析包括以下几个步骤：1)定义提出有效数据检索范围边界条件；2)制定检索策略，在检索范围内广泛收集；3)确定纳入和排除标准，剔除不符合要求的文献；4)数据测试质量评估和特征描述；5)异质性检验；6)统计合并效应量并进行统计推断；7)敏感性分析；8)作出结论及评价；（b）水利水电大数据的挖掘：水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求并获取分类存储的数据，水利水电大数据挖掘系统通过以下步骤对分类存储的数据进行数据特性对比：将符合特征的数据所在位置索引递交进行数据分析，得到有效数据；数据特性对比包括以下几个步骤：1)根据用户定义的关键字条件，明确数据挖掘任务的具体特征，在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取；2)对获得数据进行预处理，确定数据挖掘任务所涉及的目标数据，对其进行数据噪声消除、消除冗余数据等处理，然后降维；3)对降噪去赘后的数据与用户边界条件进行模糊对比；（c）对比数据的提取：水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取；（d）水利水电大数据的分析：水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析，水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述，生成最终可为水利水电行业决策提供数据支撑的趋势数据报表。