[发明专利]一种基于工业大数据的云平台数据管理系统及其构建方法

说明书

技术领域

本发明涉及一种数据管理系统，尤其涉及一种基于工业大数据的 数据管理系统以及构建方法。

背景技术

随着云计算技术的不断成熟，云计算以其虚拟化、高可靠、可扩 展、低成本等特点得到广泛的应用，越来越多的企业通过云计算技术 将将其数据中心存储至云端，从而保证数据的可靠性，并节约大量成 本。云平台架构从下至上主要包括三层，即基础设施即服务(IaaS)、 平台即服务(PaaS)和软件即服务(SaaS)，当前比较成熟的云计算相关 技术主要有openstack，Hadoop，spark等，而主流的云平台数据管理系统 也都是在它们的基础上构建的。目前基于消费级海量数据这一应用场 景的云平台数据管理系统构建方案已比较成熟，并得到大量应用，与 消费级数据相比，工业数据对平台的实时性、可靠性及安全性及可靠 性有着更高的要求，因此已有的云平台数据管理系统构建方案不能很 好的应用到工业大数据这一场景中，而且目前专门针对工业大数据的 云平台数据管理系统构建方案还比较少，因此如何根据工业数据本身 的特点，发明出一种能够适应工业需求的云平台数据管理系统构建方 案，是当前比较迫切的一个问题。

当前已有的云平台数据管理系统构建方案都是基于消费级海量 数据这一应用场景，而工业数据云平台管理系统对数据的实时性、可 靠性及安全性有着更高的要求，当前已有的云平台数据管理系统构建 方案不能很好的应用到工业数据环境中，本发明根据工业数据本身的 特点，发明出一种能够适应工业需求的云平台数据管理系统构建方 案。

发明内容

本发明的主要目的在于根据工业大数据本身的特点，发明出一种 能够适应工业需求的云平台数据管理系统构建方案，能够满足工业大 数据对云平台数据管理系统可靠性、实时性及安全性的要求。

为解决上述问题，本发明提出一种基于工业大数据的云平台数据 管理系统，其特征在于：所述的云平台数据管理系统包括数据采集系 统、工业现场数据模块、Hadoop集群模块、数据聚合模块、数据分发 模块和数据持久存储模块，其中，所述的工业现场数据模块位于数据 采集系统中，所述的数据采集系统将采集到的非结构化工业数据传输 给工业现场数据模块，所述的工业现场数据模块与所述的Hadoop集 群模块连接，所述的Hadoop集群模块与所述的数据聚合模块连接，所 述的Hadoop集群模块将处理后的数据发送给所述的数据聚合模块； 所述的数据聚合模块与所述的数据分析模块连接，所述的数据聚合模 块将处理后的数据发送给所述的数据分析模块进行分析；所述的数据 分发模块与所述的数据持久存储模块连接，所述的数据分发模块将接 收到的数据分配到数据持久存储模块中。

优选地，所述的云平台数据管理系统还包括安全模块，所述的安 全模块分别与所述的Hadoop集群模块、所述的数据聚合模块、所述的 数据分发模块、所述的数据持久存储模块连接。

优选地，所述的Hadoop集群模块包括数据结构化模块、数据除错 模块、数据去重模块、数据整合模块，各模块之间串联连接。

优选地，所述的数据聚合模块包括数据聚类模块、数据耦合模块 和数据压缩模块；所述的数据聚类模块与所述的数据耦合模块连接， 所述的数据耦合模块与所述的数据压缩模块连接。

本发明还公开了一种根据上述基于工业大数据的云平台数据管 理系统的构建方法，包括以下步骤：

S1.所述的数据采集系统采集工业现场数据，并将采集到的数据传输 给工业现场数据模块；

S2.所述的工业现场数据模块将接收到的非结构化工业数据进行结 构化处理并生成半结构化数据，然后将所述的半结构化数据通过网络 传输给所述的Hadoop集群模块；

S3.所述的Hadoop集群模块处理所述的半结构化数据，并发送给所述 的数据聚合模块；

S4.所述的数据聚合模块处理相应的数据，并发送给所述的数据分发 模块；

S5.所述的数据分发模块将接收到的数据分配到数据持久存储模块 中。

优选地，所述的构建方法还包括步骤S6：所述的云平台数据管 理系统还包括安全模块，所述的安全模块与各个处理模块进行通信， 保证数据的安全性。