[发明专利]一种数据处理的方法、装置、电子设备及存储介质

说明书

本发明实施例公开了一种数据处理的方法、装置、电子设备及存储介质。其中，该方法包括：通过至少一个接收节点接收待处理数据；根据预设的数据处理顺序确定规则，从所述待处理数据中确定待排列数据，将所述待排列数据存入预设的阻塞队列中；将所述阻塞队列中的待排列数据发送至数据处理节点，供所述数据处理节点对所述待排列数据进行数据处理。多个接收节点可实现在不同实际业务场景的自适应扩展。通过阻塞队列可以对数据处理的并发情况进行削峰填谷，避免数据量过多导致服务器崩溃，提高数据处理效率。

技术领域

本发明实施例涉及计算机技术，尤其涉及一种数据处理的方法、装置、电子设备及存储介质。

背景技术

在不同业务需求的项目开发中，不同系统之间的数据往往需要进行交互和处理。例如，A系统为数据源的产生方，会产生各类业务数据，B系统需要使用A系统的这些数据，并对这些数据进行加工处理。

现有技术中，B系统的数据接收节点获取A系统的数据，直接对获取到的数据进行处理。在高并发、数据量大或数据准确性要求高等复杂情况下，B系统无法零误差地接收这些数据，且容易造成B系统的数据处理节点崩溃，数据处理的效率和精度较低。

发明内容

本发明实施例提供一种数据处理的方法、装置、电子设备及存储介质，以提高数据处理效率。

第一方面，本发明实施例提供了一种数据处理的方法，该方法包括：

通过至少一个接收节点接收待处理数据；

根据预设的数据处理顺序确定规则，从所述待处理数据中确定待排列数据，将所述待排列数据存入预设的阻塞队列中；

将所述阻塞队列中的待排列数据发送至数据处理节点，供所述数据处理节点对所述待排列数据进行数据处理。

第二方面，本发明实施例还提供了一种数据处理的装置，该装置包括：

待处理数据接收模块，用于通过至少一个接收节点接收待处理数据；

待排列数据确定模块，用于根据预设的数据处理顺序确定规则，从所述待处理数据中确定待排列数据，将所述待排列数据存入预设的阻塞队列中；

数据处理模块，用于将所述阻塞队列中的待排列数据发送至数据处理节点，供所述数据处理节点对所述待排列数据进行数据处理。

第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任意实施例所述的数据处理的方法。

第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如本发明任意实施例的数据处理的方法。

本发明实施例通过至少一个接收节点获取待处理数据，根据数据处理顺序将待处理数据中的待排列数据存放至阻塞队列中，将阻塞队列中的待排列数据发送给数据处理节点进行数据处理。避免对所有的待处理数据进行处理，有效实现数据处理量的削峰填谷。解决了现有技术中，数据量过大导致处理请求失效或数据丢失等问题，避免数据加处理节点无法接受巨量的处理请求而出现服务器崩溃的现象，提高数据处理的精度和效率。

附图说明

图1是本发明实施例一中的一种数据处理的方法的流程示意图；

图2是本发明实施例二中的一种数据处理的方法的流程示意图；

图3是本发明实施例三中的一种数据处理的装置的结构框图；

图4是本发明实施例四中的一种数据处理的设备的结构示意图。

具体实施方式