[发明专利]一种水利大数据综合维护系统

说明书

本发明申请公开了一种水利大数据综合维护系统，该水利大数据综合维护系统的系统架构包括，业务架构上下文，平台数据来源；业务架构；数据服务架构，对平台的基本角色和操作进行设定；业务架构通过所述业务架构上下文来获取平台数据，对平台数据根据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处理后，关联至数据整合交换共享平台。本发明申请解决了由于现有的水利数据还不能实现资源共享，很难做到标准规范的建立，造成的部门之间不能对水利大数据及时处理维护，从而缺乏安全保障的技术问题。

技术领域

本发明申请涉及水利数据维护技术领域，特别涉及一种水利大数据综合 维护系统。

背景技术

大水网工程中涉及到众多的水利数据，现有的水利数据还不能实现资源共 享，很难做到标准规范的建立，部门之间不能对水利大数据及时处理维护， 从而缺乏安全保障。

发明内容

本发明申请的目的在于提供一种水利大数据综合维护系统，为水利门户 网站提供平台、数据支持，达成“统一采集、整合共享、安全可靠”的目标， 以解决由于现有的水利数据还不能实现资源共享，很难做到标准规范的建立， 造成的部门之间不能对水利大数据及时处理维护，从而缺乏安全保障的技术 问题。

为实现上述目的，本发明申请提供如下技术方案：

一种水利大数据综合维护系统，系统架构包括，

业务架构上下文，平台数据来源；

业务架构，根据数据从产生到应用的全端到端过程，将数据中心的业务 架构划分为五部分：数据源、数据存储与计算、数据汇聚整合、数据模型算 法和数据共享；

数据服务架构，对平台的基本角色和操作进行设定；

能力中心的定位，包括能力中心内部关系和能力中心外部关系；

信息资源目录体系建立，包括设计思路、元数据、元数据库建设和信息 资源目录体系设计四个部分；

所述业务架构通过所述业务架构上下文来获取平台数据，对平台数据根 据业务架构进行划分；根据所述能力中心的定位，利用能力架构、数据流架 构和技术架构进行信息资源目录体系的建立；通过数据整合交换共享平台处 理后，关联至数据整合交换共享平台。

进一步的，所述能力架构是数据中心采用云计算三层技术架构，分别为 IaaS、PaaS和SaaS。

进一步的，所述PaaS应用运行于所述IaaS基础资源层之上，所述IaaS 层包括了应用主机、数据库、中间件、网络等资源。

进一步的，所述数据服务架构，包括三个基本角色和三种操作，三个基 本角色为：服务提供者，服务中介，服务请求者，三种操作为：发布，查找 和绑定；三个角色通过以上三种操作建立联系完成服务注册、服务发现和使 用服务。

进一步的，所述数据流架构的流程如下：

步骤1：通过flume采集数据到kafka消息管道，然后到strom平台进行 规则匹配和数据计算，实现数据的实时处理，处理结果沉淀到hadoop平台， 以满足后续分析的需要；

步骤2：非实时数据通过ftp方式到数据中心接口机，互联网舆情数据通 过scrapy方式采集到数据中心接口机，非实时数据和舆情数据通过etl加载到 关系型数据库进行各种业务逻辑处理，最后结果沉淀到hadoop平台，以满足 后续分析的需要；

步骤3：通过部分数据进入spark平台进行数据挖掘和分析，挖掘结果进 入到关系型数据后进行数据可视化展现；

步骤4：进入hadoop平台的数据通过数据分析形成大量的分析数据提供 给决策层使用；