[发明专利]分布式系统中的数据处理方法及装置、计算设备

权利要求书

1.一种分布式系统中的数据处理方法，其包括：

根据预设倾斜阈值，判断多个第一关键字中是否存在至少一个第一关键字对应的数据造成数据倾斜；其中，每个第一关键字对应的数据被分布式系统中的一个计算节点处理；

若是，将所述至少一个第一关键字对应的数据进行分组处理，得到多个数据分组，并根据预设映射规则生成与多个数据分组对应的多个第二关键字；

将多个第二关键字对应的数据分组分配给分布式系统中的多个计算节点分别处理；

将处理后的多个第二关键字对应的数据分组进行合并处理，还原得到所述至少一个第一关键字对应的数据。

2.根据权利要求1所述的方法，其中，在所述根据预设倾斜阈值，判断多个第一关键字中是否存在至少一个第一关键字对应的数据造成数据倾斜之前，所述方法还包括：

对多个第一关键字对应的原始数据进行采样处理，得到采样处理后的所述多个第一关键字对应的数据；

将所述多个第一关键字对应的数据按照各自数据量从多到少进行排序，获取排序靠前的预设数量的第一关键字对应的数据。

3.根据权利要求2所述的方法，其中，所述对多个第一关键字对应的原始数据进行采样处理，得到采样处理后的所述多个第一关键字对应的数据进一步包括：

预先设置采样数据比例，并根据采样数据比例从多个第一关键字对应的原始数据中随机抽取得到采样处理后的所述多个第一关键字对应的数据。

4.根据权利要求1-3中任一项所述的方法，其中，所述将所述至少一个第一关键字对应的数据进行分组处理，得到多个数据分组，并根据预设映射规则生成与多个数据分组对应的多个第二关键字进一步包括：

将所述至少一个第一关键字对应的数据进行按照预设分组数量平均分组，得到多个数据分组；

每个数据分组根据预设映射规则生成各数据分组对应的第二关键字；其中，所述预设映射规则为将所述第一关键字拼接随机数得到第二关键字；随机数根据预设分组数量随机生成。

5.根据权利要求1-4中任一项所述的方法，其中，在所述根据预设倾斜阈值，判断多个第一关键字中是否存在至少一个第一关键字对应的数据造成数据倾斜之前，所述方法还包括：

在接收到数据处理请求后，判断针对该数据处理请求的数据倾斜检测开关是否开启；

若是，执行根据预设倾斜阈值，判断多个第一关键字中是否存在至少一个第一关键字对应的数据造成数据倾斜的步骤。

6.一种分布式系统中的数据处理装置，其包括：

判断模块，适于根据预设倾斜阈值，判断多个第一关键字中是否存在至少一个第一关键字对应的数据造成数据倾斜；其中，每个第一关键字对应的数据被分布式系统中的一个计算节点处理；

分组模块，适于若所述判断模块判断存在至少一个第一关键字对应的数据造成数据倾斜，将所述至少一个第一关键字对应的数据进行分组处理，得到多个数据分组，并根据预设映射规则生成与多个数据分组对应的多个第二关键字；

分配模块，适于将多个第二关键字对应的数据分组分配给分布式系统中的多个计算节点分别处理；

合并模块，适于将处理后的多个第二关键字对应的数据分组进行合并处理，还原得到所述至少一个第一关键字对应的数据。

7.根据权利要求6所述的装置，其中，所述装置还包括：

采样模块，适于对多个第一关键字对应的原始数据进行采样处理，得到采样处理后的所述多个第一关键字对应的数据；

排序模块，适于将所述多个第一关键字对应的数据按照各自数据量从多到少进行排序，获取排序靠前的预设数量的第一关键字对应的数据。

8.根据权利要求7所述的装置，其中，所述采样模块进一步适于：

预先设置采样数据比例，并根据采样数据比例从多个第一关键字对应的原始数据中随机抽取得到采样处理后的所述多个第一关键字对应的数据。