[发明专利]数据处理方法、装置及计算机设备

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

获取待处理的目标数据集；

根据预设数量的标识码对所述目标数据集中的每一个数据进行标记，得到已标记数据集；

根据所述标记码将所述已标记数据集的数据输入到不同的计算节点进行数据处理；

将所有计算节点输出的已标记数据去除标识码并进行存储。

2.如权利要求1所述的数据处理方法，其特征在于，所述根据预设数量的标识码对所述目标数据集中的每一个数据进行标记，包括：

根据所述计算节点的数量生成预设数量的标识码；

将所述预设数量的标识码的每一个标识码对所述目标数据集中的均衡数量的数据进行标记。

3.如权利要求2所述的数据处理方法，其特征在于，所述根据所述计算节点的数量生成预设数量的标识码，包括：

生成与所述计算节点的数量相等或在所述计算节点的数量的预设波动范围内的数量的随机正整数作为标识码。

4.如权利要求1-3中任一项所述的数据处理方法，其特征在于，所述根据预设数量的标识码对所述目标数据集中的每一个数据进行标记，包括：

将所述标识码以前缀或后缀的方式添加到所述目标数据集中的每一个数据中。

5.如权利要求4所述的数据处理方法，其特征在于，当所述目标数据集中的数据为(key，value)类型数据时，所述将标识码以前缀或后缀的方式添加到所述目标数据集中的每一个数据中，包括：

将标识码添加到所述目标数据的key字段。

6.如权利要求5所述的数据处理方法，其特征在于，所述将所有计算节点输出的已标记数据去除标识码并进行存储，包括：

根据key值对已标记数据集中的数据进行一次聚合，得到第一数据集；

将所述第一数据集中的每一个数据的标识码去除；

根据key值对去除标识码后的所述第一数据集中的数据进行二次聚合，得到第二数据集，并存储到预设存储单元。

7.如权利要求6所述的数据处理方法，其特征在于，

在执行所述一次聚合或所述二次聚合的过程中，当多个数据聚合成一个目标数据时，将所述多个数据的数量标记到所述目标数据。

8.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取待处理的目标数据集；

标记模块，用于根据预设数量的标识码对所述目标数据集中的每一个数据进行标记，得到已标记数据集；

处理模块，用于根据所述标记码将所述已标记数据集的数据输入到不同的计算节点进行数据处理；

存储模块，用于将所有计算节点输出的已标记数据去除标识码并进行存储。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1～7中任一项所述的数据处理方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1～7中任一项所述的数据处理方法的步骤。