[发明专利]一种面向工业大数据的处理平台的构建方法

说明书

本发明公开了一种面向工业大数据的处理平台的构建方法，包括如下步骤：步骤1：从多个数据源处获得工业大数据；步骤2：将获取的数据实时推送至基于Kafka实现的消息队列中，对获取到的数据进行预处理操作，实施设备数据预警；步骤3：基于Flink的数据处理池作为消息队列的消费者，即数据处理池可从消息队列中获取到数据；步骤4：对步骤3中从消息队列获取到的数据进行处理操作；步骤5：将处理过的数据结果分门别类地存放于数据池中；步骤6：利用Grafana连接器对步骤5数据池中的进行多样化展示，供客户对数据进行检索、查询。本发明综合运用6种大数据技术和工具，为工业大数据场景下的数据传输、处理、存储提供了可行解决方案，具有良好的性能优势。

技术领域

本发明涉及工业大数据技术领域，尤其是一种面向工业大数据的处理平台的构建方法。

背景技术

工业大数据是企业生产力、竞争力的关键要素。但目前，由于工业大数据的数据特性各异，面向工业大数据处理平台的构建方法、体系架构、具体实现技术等也差异性较大，没有统一的解决方案。其中，一些解决方案往往采用单一的大数据技术，存在明显的局限性，例如：采用Storm框架实现的工业大数据处理平台，往往只支持纯实时的场景，在对工业大数据批处理的吞吐量较低；基于Apache Spark框架的解决方案，其更适用于处理一段时间内的批量数据，对实时工业大数据的处理则延迟性较高。在工业大数据场景下，实时数据、批数据、历史数据均存在，缺乏综合性的技术体系和完善的大数据生态的处理功能，易导致工业大数据平台的数据处理效率低，运维成本高。另外，现有的数据处理平台，依然缺少适用于工业大数据处理，特别是流数据处理的方法，使得用户难以及时对工业大数据进行分析。

发明内容

本发明提出一种面向工业大数据的处理平台的构建方法，综合运用了Kafka、Flink、IoTDB、OrientDB、MySQL、Grafana这6种大数据工具，构建了消息队列、数据处理池和数据存储池3个关键组成部分，实现了对工业大数据的传递、分析和存储的全流程，大大地提高了数据处理的效率。

本发明提供一种面向工业大数据的处理平台的构建方法，具体包括如下步骤：

步骤1：从多个数据源处获得工业大数据；

步骤2：将获取的数据实时推送至基于Kafka实现的消息队列中，使这些数据作为消息队列的生产者；在该消息队列中，对获取到的数据进行预处理操作，对各个数据序列排序、分配主题；实施设备数据预警，即确定各个工业设备相应的阈值，当相关数据超过这个阈值时，消息队列自动发出提醒；

步骤3：基于Flink的数据处理池作为消息队列的消费者，即数据处理池可从消息队列中获取到数据；

步骤4：对步骤3中从消息队列获取到的数据进行处理操作；

步骤5：将处理过的数据结果分门别类地存放于数据池中；

步骤6：利用Grafana连接器对步骤5数据池中的进行多样化展示，供客户对数据进行检索、查询。

优选的，步骤1中，从多个数据源处获得工业大数据具体为：(a)通过物联网、传感器获得的设备运行数据和系统实时事件监控数据；(b)通过第三方消息队列、应用系统和数据库获得的相关业务数据。

优选的，步骤4中，对步骤3中从消息队列获取到的数据进行处理操作包括4类主要操作：对重复数据、无效数据进行删除；实现数据的聚合操作；基于统计方法、机器学习算法对工业大数据开展数据分析；复杂事件处理。

优选的，统计方法的数据分析包括：Kolmogorov-Smirnov检验、Lilliefors检验、Bayesian检验、Simple t检验、Regression检验；基于机器学习算法的数据分析包括：随机森林异常检测算法、Apriori算法和分类回归树算法。