[发明专利]数据处理方法及装置

说明书

本公开提供一种数据处理方法及装置。涉及数据处理技术，能够解决数据处理效率低下的问题。具体技术方案为：采集服务器中设置线程池，线程池中包含多个并行运行的线程，其中，每个线程执行如下操作：从对应的网关中获取待处理数据序列；待处理数据序列中包含多个待处理数据；待处理数据是网关从与其建立通讯连接的终端设备处采集获得的；根据预设处理规则，对待处理数据序列进行处理，生成对应的设备数据；设备数据中包括数据信息、设备信息以及参数信息；将设备数据发送至消息队列上，以供处理服务器获取并存储。本公开用于提升数据处理的效率。

技术领域

本公开涉及数据处理领域，尤其涉及一种数据处理方法及装置。

背景技术

Modbus是一种应用于工业电子设备之间串行通讯协议，通常用来连接服务器和终端设备，允许服务器和多个终端设备连接在同一网络上进行通信。Modbus通讯协议是一个master/slave架构的协议，其中一个节点，如服务器是master节点，其他参与通信的节点，如终端设备是slave节点。

现有技术中，网关从终端设备获取二进制数据，服务器通过Modbus TCP连接的方式从网关采集终端设备的二进制数据，将采集到的二进制数据转换为实际数据，并将实际数据与终端设备进行对应关联操作，再发送数据消息至消息队列上进行转发和存储操作。

但是，每次采集任务采集到的数据完成转换、对应关联、转发及存储的操作后，才启动下一次采集任务。这种单线程的模式占用的服务器资源较多，数据处理效率较低。

发明内容

本公开实施例提供一种数据处理方法及装置，能够解决数据采集效率低下的问题。所述技术方案如下：

根据本公开实施例的第一方面，提供一种数据处理方法，所述方法包括：

采集服务器中设置线程池，所述线程池中包含多个并行运行的线程，其中，每个所述线程执行如下操作：

从对应的网关中获取待处理数据序列；所述待处理数据序列中包含多个待处理数据；所述待处理数据是所述网关从与其建立通讯连接的终端设备处采集获得的；

根据预设处理规则，对所述待处理数据序列进行处理，生成对应的设备数据；所述设备数据中包括数据信息、设备信息以及参数信息；

将所述设备数据发送至消息队列上，以供处理服务器获取并存储。

通过在采集服务器中设置多个并行运行的线程，实现多线程模式的数据处理，并且在将设备数据发送至消息队列后，即可进入新的数据采集处理任务中。在节省服务器资源的同时，提升了数据处理效率。

在一个实施例中，所述根据预设处理规则，对所述待处理数据序列进行处理，生成对应的设备数据，包括：

根据预先配置的点表，按照序列顺序对数据进制转换后的所述待处理数据与终端设备进行关联操作，生成对应的设备数据；其中，所述点表中包括对应的终端设备序列及参数序列。

通过预先配置包括对应的终端设备序列及参数序列的点表，简单的与待处理数据序列进行配对关联操作，生成设备数据，进一步提升了数据处理效率。

在一个实施例中，所述从对应的网关中获取待处理数据序列，包括：

通过Modbus TCP通讯协议从所述对应的网关中获取所述待处理数据序列。

在一个实施例中，所述设备信息包括设备类型及设备标识。

在一个实施例中，所述参数信息包括遥测量参数及电能参数。

根据本公开实施例的第二方面，提供一种数据处理装置，所述装置包括：