[发明专利]水利水电大数据架构建设方法

权利要求书

1.一种水利水电大数据架构建设方法，其特征在于，包括水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统，包括以下几个步骤：

（a）可用数据的采集和存储：水利水电大数据架构建设方法利用水利水电大数据采集系统中的网络爬虫技术，对互联网、水利水电大数据所在内网中的可用数据进行采集，对可用数据进行META数据校验分析，校验分析后的数据交由水利水电大数据分布服务器节点控制系统进行分类存储； META数据校验分析包括以下几个步骤：1 )定义提出有效数据检索范围边界条件；2 )制定检索策略，在检索范围内广泛收集；3 )确定纳入和排除标准，剔除不符合要求的文献；4 )数据测试质量评估和特征描述；5 )异质性检验；6 )统计合并效应量并进行统计推断；7 )敏感性分析；8 )作出结论及评价；

（b）水利水电大数据的挖掘：水利水电大数据挖掘系统向水利水电大数据分布服务器节点控制系统提交请求并获取分类存储的数据，水利水电大数据挖掘系统通过以下步骤对分类存储的数据进行数据特性对比：将符合特征的数据所在位置索引递交进行数据分析，得到有效数据；数据特性对比包括以下几个步骤：1 )根据用户定义的关键字条件，明确数据挖掘任务的具体特征，在基于Hadoop平台的水电大数据分布服务器节点控制系统归类存档系统中进行海量数据检索、提取；2 )对获得数据进行预处理，确定数据挖掘任务所涉及的目标数据，对其进行数据噪声消除、消除冗余数据处理，然后降维；3 )对降噪去赘后的数据与用户边界条件进行模糊对比；

（c）对比数据的提取：水利水电大数据挖掘系统中用于数据特性对比的数据的特征、特性定义从水利水电大数据挖掘模型库中提取；

（d）水利水电大数据的分析：水利水电大数据挖掘系统将数据挖掘产生的有效数据在水利水电大数据分析系统进一步进行分析，水利水电大数据分析系统通过对有效数据的时间、位置、字节、出现频率、网络标签和自定义特征的描述，生成最终可为水利水电行业决策提供数据支撑的趋势数据报表；

所述的水利水电大数据采集系统、水利水电大数据挖掘系统、水利水电大数据挖掘模型库、水利水电大数据分析系统及水利水电大数据分布服务器节点控制系统分别部署在5台不同的服务器上，采用TCP/IP网络进行互通互联；数据的存储采用Hadoop服务器，与水利水电大数据采集、挖掘、分析逻辑分开，随时添加扩展任意数量的存储服务器。

2.根据权利要求1所述的水利水电大数据架构建设方法，其特征在于，所述水利水电大数据分析系统包括数据计算服务器、统一数据采集模块、数据输出模块、大数据及计算模型管理SPM，统一数据采集模块、数据输出模块、大数据及计算模型管理SPM均与数据计算服务器连接，统一数据采集模块实时采集用户边界条件，所述用户边界条件包括混凝土浇筑数据、施工现场气候数据、水库运行管理数据及大坝微裂变形数据；数据计算服务器从统一数据采集模块中读取实时采集的数据，再通过在线计算或者离线计算对采集的数据进行处理；大数据及计算模型管理SPM存放采集的数据或者处理后的数据或者其它数据；数据输出模块将数据计算服务器处理的数据输出成为分析结果及支撑数据，分析结果及支撑数据包括传统报表、查询数据、可视化数据、即席分析数据、可提取数据。