[发明专利]一种基于工业大数据的云平台数据管理系统及其构建方法

权利要求书

1.一种基于工业大数据的云平台数据管理系统，其特征在于：所 述的云平台数据管理系统包括数据采集系统、工业现场数据模块、 Hadoop集群模块、数据聚合模块、数据分发模块和数据持久存储模 块，其中，所述的工业现场数据模块位于数据采集系统中，所述的数 据采集系统将采集到的非结构化工业数据传输给工业现场数据模块， 所述的工业现场数据模块与所述的Hadoop集群模块连接，所述的 Hadoop集群模块与所述的数据聚合模块连接，所述的Hadoop集群模 块将处理后的数据发送给所述的数据聚合模块；所述的数据聚合模块 与所述的数据分析模块连接，所述的数据聚合模块将处理后的数据发 送给所述的数据分析模块进行分析；所述的数据分发模块与所述的数 据持久存储模块连接，所述的数据分发模块将接收到的数据分配到数 据持久存储模块中。

2.根据权利要求1所述的一种基于工业大数据的云平台数据管理 系统，其特征在于：所述的云平台数据管理系统还包括安全模块，所 述的安全模块分别与所述的Hadoop集群模块、所述的数据聚合模块、 所述的数据分发模块、所述的数据持久存储模块连接。

3.根据权利要求1或2所述的一种基于工业大数据的云平台数据管 理系统，其特征在于：所述的Hadoop集群模块包括数据结构化模块、 数据除错模块、数据去重模块、数据整合模块，各模块之间串联连接。

4.根据权利要求1或2所述的一种基于工业大数据的云平台数据 管理系统，其特征在于：所述的数据聚合模块包括数据聚类模块、数 据耦合模块和数据压缩模块；所述的数据聚类模块与所述的数据耦合 模块连接，所述的数据耦合模块与所述的数据压缩模块连接。

5.一种根据上述权利要求1-4的一种基于工业大数据的云平台数 据管理系统的构建方法，包括以下步骤：

S1.所述的数据采集系统采集工业现场数据，并将采集到的数据传输 给工业现场数据模块；

S2.所述的工业现场数据模块将接收到的非结构化工业数据进行结 构化处理并生成半结构化数据，然后将所述的半结构化数据通过网络 传输给所述的Hadoop集群模块；

S3.所述的Hadoop集群模块处理所述的半结构化数据，并发送给所述 的数据聚合模块；

S4.所述的数据聚合模块处理相应的数据，并发送给所述的数据分发 模块；

S5.所述的数据分发模块将接收到的数据分配到数据持久存储模块 中。

6.根据权利要求5所述的一种基于工业大数据的云平台数据管 理系统的构建方法，其特征在于：所述的构建方法还包括步骤S6：所 述的云平台数据管理系统还包括安全模块，所述的安全模块与各个处 理模块进行通信，保证数据的安全性。

7.根据权利要求5所述的一种基于工业大数据的云平台数据管理 系统的构建方法，其特征在于：所述的步骤S3包括，所述的Hadoop 集群模块还包括数据结构化模块、数据除错模块、数据去重模块、数 据整合模块，首先，所述的数据结构化模块结构化处理接收到的所述 的半结构化数据，生成结构化数据；所述的数据除错模块去除错误的 结构化数据，所述的数据去重模块排除重复的结构化数据，所述的数 据整合模块整合所述数据除错模块和所述数据去重模块模块处理后 的数据。

8.根据权利要求5所述的一种基于工业大数据的云平台数据管理 系统的构建方法，其特征在于：所述的步骤S4包括，所述的数据聚合 模块包括数据聚类模块、数据耦合模块和数据压缩模块；所述的数据 聚类模块将相似的数据聚集在一起，生成相似数据类，所述的数据耦 合模块整合所述的相似数据类，优化所述相似数据类的数据；所述的 数据压缩模块调用数据压缩算法压缩所述相似数据类的数据。