[发明专利]一种工业大数据采集方法及系统

说明书

本发明提供一种工业大数据采集方法及系统，该方法包括：多进程并发采集工业数据，各采集节点对采集的工业数据自相关分析后，将工业数据发送至服务器；基于N I O服务器创建多线程工业数据处理任务，通过Kafka生成多任务消息队列，对多任务消息队列中数据利用Spark Streami ng进行处理，并将处理结果存储至HDFS文件系统。通过该方案可以提高工业数据采集、存储等过程的处理效率，减轻服务器负载，便于工业大数据的有序可靠管理。

技术领域

本发明涉及大数据领域，尤其涉及一种工业大数据采集方法及系统。

背景技术

随着互联网技术的快速发展，无人化、智能化工厂将成为未来的发展趋势，通过对工业大数据的采集及分析，可以为工厂、企业提供可靠的生产指导，进而能够提高生产效率、降低成本。然而，当前的工业数据采集多是简单的将获取的原始数据发送到服务器进行存储，在面对大批量的工业数据时，采集数据的传输、存储对于服务器而言，无疑会大大增加服务器负载，严重时会大致服务器崩溃。

发明内容

有鉴于此，本发明实施例提供了一种工业大数据采集方法及系统，以解决现有服务器负载过大的问题。

在本发明实施例的第一方面，提供了一种工业大数据采集方法，包括：

多进程并发采集工业数据，各采集节点对采集的工业数据自相关分析后，将工业数据发送至服务器；

基于NIO服务器创建多线程工业数据处理任务，通过Kafka生成多任务消息队列，对多任务消息队列中数据利用Spark Streaming进行处理，并将处理结果存储至HDFS文件系统。

在本发明实施例的第二方面，提供了一种工业大数据采集系统，包括：

采集模块，用于多进程并发采集工业数据，各采集节点对采集的工业数据自相关分析后，将工业数据发送至服务器；

数据处理模块，用于基于NIO服务器创建多线程工业数据处理任务，通过Kafka生成多任务消息队列，对多任务消息队列中数据利用Spark Streaming进行处理，并将处理结果存储至HDFS文件系统。

在本发明实施例的第三方面，提供了一种电子设备，至少包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例中，通过多进程并发采集工业数据，各采集节点对采集的工业数据自相关分析后，发送至服务器，基于NIO服务器创建多线程工业数据处理任务，通过Kafka生成多任务消息队列，对多任务消息队列中数据利用Spark Streaming进行处理，并将处理结果存储至HDFS文件系统。从而可以大大提升服务器负载能力，同时，能够提升服务器并行处理能力，提高工业数据的采集、传输、分析、存储过程的处理效率，保障工业数据的有序管理，方便后续数据利用，基于采集数据的自相关分析，可以有效减少传输数据量。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明的一个实施例提供的一种工业大数据采集方法的流程示意图；

图2为本发明的一个实施例提供的的一种工业大数据采集系统的结构示意图。

具体实施方式