[发明专利]一种分布式数据处理方法及系统

权利要求书

1.一种分布式数据处理方法，其特征在于，包括：

分节点根据所述分节点对请求数据的处理流程，产生记录数据；所述分节点为分布式系统的N个分节点中的任一分节点，N≥1；

所述分节点对记录数据进行初步成对校验，得到初步校验成功数据和初步校验未成功数据；

所述分节点将所述初步校验成功数据进行初步汇总，得到初步汇总数据；

所述分节点将所述初步汇总数据以及所述初步校验未成功数据发送至所述分布式系统的总节点，以使所述总节点对所述N个分节点的初步校验未成功数据进行再次成对校验得到再次校验成功数据，并将所述再次校验成功数据与所述初步汇总数据进行再次汇总。

2.如权利要求1所述的方法，其特征在于，所述分节点根据所述分节点对请求数据的处理，产生记录数据之后，所述分节点对所述分节点中的记录数据进行初步成对校验之前，还包括：

针对每条记录数据，所述分节点对所述记录数据进行解析，确定所述记录数据的配置信息；

所述分节点根据配置信息与数据类型的关系，确定所述记录数据的数据类型；

所述分布式数据处理方法，还包括：

所述分节点将所述记录数据的数据类型向所述总节点发送。

3.如权利要求1所述的方法，其特征在于，所述分节点对记录数据进行初步成对校验，得到初步校验成功数据和初步校验未成功数据，包括：

所述分节点判断所述分节点的所有记录数据中是否存在与第一记录数据成对的第二记录数据，所述第一记录数据为所有记录数据中的任一记录数据；

若存在，则所述分节点将所述第一记录数据以及与所述第二记录数据确定为所述初步校验成功数据；

若不存在，则所述分节点将所述第一记录数据确定为所述初步校验未成功数据。

4.如权利要求2所述的方法，其特征在于，所述记录数据的配置信息中包含所述记录数据对应的请求标识；

所述分节点根据所述分节点对请求数据的处理，产生记录数据之后，所述分节点对所述分节点中的记录数据进行初步成对校验之前，还包括：

所述分节点根据所述记录数据对应的请求标识，将所述记录数据进行分组；

所述分节点对所述分节点中的记录数据进行初步成对校验，包括：

针对任一分组，所述分节点对所述分组中的记录数据进行初步成对校验；

所述分节点将所述初步校验成功数据进行初步汇总，包括：

针对任一分组，所述分节点对所述分组中的初步校验成功数据进行初步汇总。

5.如权利要求1所述的方法，其特征在于，所述分节点将所述初步校验成功数据进行初步汇总，得到初步汇总数据，还包括：

所述分节点按照预定的频率将所述初步校验成功数据进行初步汇总。

6.一种分布式数据处理系统，其特征在于，包括：总节点以及N个分节点，N≥1；

所述分节点，用于根据所述分节点对请求数据的处理流程，产生记录数据；所述分节点为所述N个分节点中的任一分节点；对记录数据进行初步成对校验，得到初步校验成功数据和初步校验未成功数据；将所述初步校验成功数据进行初步汇总，得到初步汇总数据；将所述初步汇总数据以及所述初步校验未成功数据向总节点发送；

所述总节点用于接收N个分节点发送的所述初步汇总数据以及所述初步校验未成功数据；对所述N个分节点的初步校验未成功数据进行再次成对校验得到再次校验成功数据，并将所述再次校验成功数据与所述初步汇总数据进行再次汇总。

7.如权利要求6所述的系统，其特征在于，所述分节点，还用于：

针对每条记录数据，对所述记录数据进行解析，确定所述记录数据的配置信息；

根据配置信息与数据类型的关系，确定所述记录数据的数据类型；

将所述记录数据的数据类型向所述总节点发送。