[发明专利]一种数据处理方法以及数据处理装置

说明书

本申请提供一种数据处理方法以及数据处理装置，该方法包括：第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，消息队列包含多个分区，目标数据为多个分区中的目标分区内实时更新的数据；第一服务通讯框架SCF将目标数据转发至第二SCF的第一节点，第二SCF的第一节点用于对目标数据进行处理，其中，第二SCF包含多个节点，第一节点为多个节点中的节点。这样，第一服务通讯框架SCF可以从服务器的消息队列中拉取目标数据，并将目标数据转发至第二SCF的第一节点，由第二SCF的第一节点对目标数据进行处理。采用双层SCF，将数据收集和数据处理进行解耦，当数据量较大或者数据处理业务量较大时，可以有效减少数据延迟或者数据丢失的情况。

技术领域

本申请涉及通信技术领域，尤其涉及一种数据处理方法以及数据处理装置。

背景技术

消息队列是指在消息的传输过程中保存消息的容器，消息队列的主要目的是提供路由并保证消息传递的可靠性。如果消息被发送时，消息接收者不可用，消息队列可以保留消息，直到可以成功地传递它。

当采用消息队列作为数据通道时，消息队列可以包含多个分区，并行处理数据的线程数受限于消息队列的分区。当数据量较大或者数据处理业务量较大时，容易造成数据延迟或者数据丢失。

发明内容

本申请提供了一种数据处理方法以及数据处理装置，以解决现有技术中，当数据量较大或者数据处理业务量较大时，容易造成数据延迟或者数据丢失的问题。

第一方面，本发明提供了一种数据处理方法，所述方法包括：

第一服务通讯框架SCF从服务器的消息队列中拉取目标数据，其中，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据；

所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点，所述第二SCF的第一节点用于对所述目标数据进行处理，其中，所述第二SCF包含多个节点，所述第一节点为所述多个节点中的节点。

进一步的，在所述第一服务通讯框架SCF将所述目标数据转发至第二SCF的第一节点的步骤之后，所述方法还包括：

所述第一服务通讯框架SCF接收所述第二SCF的第一节点返回的无法处理信息；

所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，所述第二SCF的第二节点用于对所述目标数据进行处理，其中，所述第二节点为所述多个节点中除所述第一节点之外的节点。

进一步的，所述第一服务通讯框架SCF根据所述无法处理信息，将所述目标数据转发至所述第二SCF的第二节点，包括：

所述第一服务通讯框架SCF根据所述无法处理信息，判断所述目标数据的转发次数是否大于或者等于预设第一阈值；

所述第一服务通讯框架SCF在判断出所述目标数据的转发次数小于所述预设第一阈值的情况下，将所述目标数据转发至所述第二SCF的第二节点。

进一步的，所述方法还包括：

所述第一服务通讯框架SCF在判断出所述目标数据的转发次数大于或者等于所述预设第一阈值的情况下，显示提示信息。

第二方面，本发明还提供了一种数据处理方法，所述方法包括：

第二SCF的第一节点接收第一SCF转发的目标数据，其中，所述目标数据为所述第一SCF从服务器的消息队列中拉取的数据，所述消息队列包含多个分区，所述目标数据为所述多个分区中的目标分区内实时更新的数据，所述第一节点为所述第二SCF所包含的多个节点中的节点；

所述第二SCF的第一节点根据当前负载情况，判断是否具有处理所述目标数据的能力；