[发明专利]数据处理方法、数据处理装置、计算机设备和存储介质

说明书

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法、数据处理装置、计算机设备和存储介质。

背景技术

随着智能制造的不断发展，智能工厂中各类智能终端设备每天产生数十万甚至百万级的生产数据，需要将各个智能终端设备所产生的数据进行采集汇总，并同步到存储设备进行存储，以便后续能够对数以万计的生产数据进行大数据分析，从而更好的管控优化整个生产过程。

目前实现生产数据同步到存储设备，是通过各个智能终端来采集所产生的生产数据，并将所采集到的生产数据实时并行的传输到存储设备进行存储。

然而，目前实现数据同步的过程中，随着智能终端数量的增加，并行传输的数据量也越大，所需的数据传输带宽也越大，使得智能终端的相应时间变长，还会增加数据中心服务器对数据处理的复杂度，从而导致数据传输压力大。

发明内容

基于此，有必要针对目前实现数据同步的过程中数据传输压力大的技术问题提出了一种数据处理方法、数据处理装置、计算机设备和存储介质。

一种数据处理方法，所述方法包括：

接收终端发送的数据；

判断所述数据所属的类别；

当所述类别为第一类时，将所述数据存入第一类数据队列中；

从所述第一类数据队列中依次读取数据并发送至存储设备；

当所述类别为第二类时，将所述数据进行持久化存储；

当达到预设时间时，将持久化存储的所述数据发送至所述存储设备。

一种数据处理装置，所述装置包括：

数据接收模块，用于接收终端发送的数据；

数据判断模块，用于判断所述数据所属的类别；

第一存储模块，用于当所述类别为第一类时，将所述数据存入第一类数据队列中；

第一读取模块，用于从所述第一类数据队列中依次读取数据并发送至存储设备；

第二存储模块，用于当所述类别为第二类时，将所述数据进行持久化存储；

第二读取模块，用于当达到预设时间时，将持久化存储的所述数据发送至所述存储设备。

一种数据处理系统，所述系统包括终端、队列服务器、传输通道和数据中心服务器；

所述终端用于采集数据；还用于通过网络连接将采集的所述数据发送至队列服务器；

所述队列服务器用于接收所述终端发送的所述数据；还用于判断接收的所述数据所属的类别，当所述类别为实时数据类时，将所述数据存入实时数据队列中，从所述实时数据队列中依次读取数据并通过所述传输通道发送至所述数据中心服务器；还用于当所述类别为非实时数据类时，将所述数据进行持久化存储，当达到预设时间时，将持久化存储的所述数据通过所述传输通道发送至所述数据中心服务器。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

接收终端发送的数据；

判断所述数据所属的类别；

当所述类别为第一类时，将所述数据存入第一类数据队列中；

从所述第一类数据队列中依次读取数据并发送至存储设备；

当所述类别为第二类时，将所述数据进行持久化存储；

当达到预设时间时，将持久化存储的所述数据发送至所述存储设备。

一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

接收终端发送的数据；

判断所述数据所属的类别；

当所述类别为第一类时，将所述数据存入第一类数据队列中；

从所述第一类数据队列中依次读取数据并发送至存储设备；

当所述类别为第二类时，将所述数据进行持久化存储；

当达到预设时间时，将持久化存储的所述数据发送至所述存储设备。

上述数据处理方法、数据处理装置、计算机设备和存储介质，将数据划分为需要即时发送至存储设备的第一类和在预设时间发送至存储设备的第二类。对于第一类的数据，可以通过第一类数据队列即时发送至存储设备，减少数据响应时间，从而提高了数据同步的处理效率。而对于第二类的数据，则可进行持久化存储，在达到预设时间时再发送至存储设备。通过对不同类别数据的差异化处理，能够有效缓解数据传输压力。

附图说明

图1为一个实施例中数据处理方法的应用环境图；

图2为一个实施例中用于实现数据处理方法的计算机设备的内部结构图；