[发明专利]一种解决Spark数据倾斜方法及系统

权利要求书

1.一种解决Spark数据倾斜方法，其特征在于，包括：

将超过预设数据量的数据集按照预设分割方法进行分割处理，得到数据块集；

将所述数据块集中的数据块分配给Redtask集中满足预设条件的Redtask，得到中间结果集；

将中间结果集分配给所述Redtask集中的一个Redtask中进行汇总处理，得到处理结果。

2.根据权利要求1所述的解决Spark数据倾斜的方法，其特征在于，所述将超过预设数据量的数据集按照预设分割方法进行分割处理的过程，包括：

将超过所述预设数据量的所述数据集按照预设数据块数据量进行分割处理。

3.根据权利要求1所述的解决Spark数据倾斜的方法，其特征在于，所述将超过预设数据量的数据集按照预设分割方法进行分割处理的过程，包括：

将超过所述预设数据量的所述数据集按照预设的数据块数量进行分割处理。

4.根据权利要求1所述的解决Spark数据倾斜的方法，其特征在于，所述将超过预设数据量的数据集按照预设分割方法进行分割处理的过程，包括：

将超过所述预设数据量的所述数据集按照满足所述预设条件的Redtask数量进行分割处理。

5.根据权利要求1至4任一项所述的解决Spark数据倾斜的方法，其特征在于，所述将所述数据块集中的数据块分配给Redtask集中满足预设条件的Redtask的过程，包括：

将所述数据块集中的数据块平均分配给Redtask集中满足所述预设条件的Redtask。

6.根据权利要求1至4任一项所述的解决Spark数据倾斜的方法，其特征在于，所述汇总处理的过程，包括：

利用中间结果集中每个中间结果的key，将具有相同key的中间结果进行汇总。

7.一种解决Spark数据倾斜系统，其特征在于，包括：

分割模块，用于将超过预设数据量的数据集按照预设分割方法进行分割处理，得到数据块集；

分配模块，用于将所述数据块集中的数据块分配给Redtask集中满足预设条件的Redtask，得到中间结果集；

汇总模块，用于将中间结果集分配给所述Redtask集中的一个Redtask中进行汇总处理，得到处理结果。

8.根据权利要求7所述的解决Spark数据倾斜的系统，其特征在于，所述分割模块，具体用于将超过所述预设数据量的所述数据集按照预设数据块数据量进行分割处理。

9.根据权利要求7或8所述的解决Spark数据倾斜的系统，其特征在于，所述分配模块，具体用于将所述数据块集中的数据块平均分配给Redtask集中满足所述预设条件的Redtask，得到中间结果集。

10.根据权利要求7或8所述的解决Spark数据倾斜的系统，其特征在于，所述汇总模块，具体用于将中间结果集分配给所述Redtask集中的一个Redtask中，利用中间结果集中每个中间结果的key，将具有相同key的中间结果进行汇总，得到处理结果。