[发明专利]一种解决Spark数据倾斜方法及系统

摘要

本申请公开了一种解决Spark数据倾斜方法及系统，包括将超过预设数据量的数据集按照预设分割方法进行分割处理，得到数据块集；将数据块集中的数据块分配给Redtask集中满足预设条件的Redtask，得到中间结果集；将中间结果集分配给Redtask集中的一个Redtask中进行汇总处理，得到处理结果。本发明在接收到超过预设数据量的数据集时，将其进行分割处理，得到数据块集，再将数据块集分配给Redtask集中的Redtask进行并行的计算和处理，从而使多个Redtask能对一个大数据量的数据集进行并行运算，加快数据的处理速度，运算完成后，得到中间结果集，再将中间结果分配到一个Redtask中进行汇总处理，形成与数据集相应的处理结果，保证了数据和结果的完整性，解决了Spark中数据倾斜的情况，提高了运行速度。

主权项

一种解决Spark数据倾斜方法，其特征在于，包括：将超过预设数据量的数据集按照预设分割方法进行分割处理，得到数据块集；将所述数据块集中的数据块分配给Redtask集中满足预设条件的Redtask，得到中间结果集；将中间结果集分配给所述Redtask集中的一个Redtask中进行汇总处理，得到处理结果。