[发明专利]一种分布式数据处理方法及系统

说明书

本发明实施例涉及计算机技术领域，尤其涉及一种分布式数据处理方法及系统，用以减少传输到总节点的数据量，降低总节点的处理压力。本发明实施例包括：分节点根据分节点对请求数据的处理流程，产生记录数据；分节点为分布式系统的N个分节点中的任一分节点；分节点对记录数据进行初步成对校验，得到初步校验成功数据和初步校验未成功数据；分节点将初步校验成功数据进行初步汇总，得到初步汇总数据；分节点将初步汇总数据以及初步校验未成功数据发送至分布式系统的总节点，以使总节点对N个分节点的初步校验未成功数据进行再次成对校验得到再次校验成功数据，并将再次校验成功数据与初步汇总数据进行再次汇总。

技术领域

本发明涉及金融科技(Fintech)中的计算机技术领域，尤其涉及一种分布式数据处理方法及系统。

背景技术

随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如针对分布式系统的数据处理过程。

在目前集中式的银行核心系统中，所有的交易均是在唯一的一个数据处理节点上进行，交易产生的各类交互数据反应的是节点内部的处理过程。

随着业务的不断发展，交易量急剧膨胀，单节点的性能和容量有限，可以在银行核心系统中布置分布式系统来满足数据处理需求。而对于现有的分布式系统而言，分节点会将各自产生的数据直接向总节点发送并通过总结点汇总。因此，总节点接收到的数据量十分庞大，处理这种海量数据的压力较大，耗时较长。

发明内容

本申请提供一种分布式数据处理方法及系统，用以减少传输到总节点的数据量，降低总节点的处理压力。

本发明实施例提供的一种分布式数据处理方法，包括：

分节点根据所述分节点对请求数据的处理流程，产生记录数据；所述分节点为分布式系统的N个分节点中的任一分节点，N≥1；

所述分节点对记录数据进行初步成对校验，得到初步校验成功数据和初步校验未成功数据；

所述分节点将所述初步校验成功数据进行初步汇总，得到初步汇总数据；

所述分节点将所述初步汇总数据以及所述初步校验未成功数据发送至所述分布式系统的总节点，以使所述总节点对所述N个分节点的初步校验未成功数据进行再次成对校验得到再次校验成功数据，并将所述再次校验成功数据与所述初步汇总数据进行再次汇总。

一种可选的实施例中，所述分节点根据所述分节点对请求数据的处理，产生记录数据之后，所述分节点对所述分节点中的记录数据进行初步成对校验之前，还包括：

针对每条记录数据，所述分节点对所述记录数据进行解析，确定所述记录数据的配置信息；

所述分节点根据配置信息与数据类型的关系，确定所述记录数据的数据类型；

所述分布式数据处理方法，还包括：

所述分节点将所述记录数据的数据类型向所述总节点发送。

一种可选的实施例中，所述分节点对记录数据进行初步成对校验，得到初步校验成功数据和初步校验未成功数据，包括：

所述分节点判断所述分节点的所有记录数据中是否存在与第一记录数据成对的第二记录数据，所述第一记录数据为所有记录数据中的任一记录数据；

若存在，则所述分节点将所述第一记录数据以及与所述第二记录数据确定为所述初步校验成功数据；

若不存在，则所述分节点将所述第一记录数据确定为所述初步校验未成功数据。

一种可选的实施例中，所述记录数据的配置信息中包含所述记录数据对应的请求标识；