[发明专利]一种数据倾斜优化因子自动调整方法、装置、设备和介质

权利要求书

1.一种数据倾斜优化因子自动调整方法，其特征在于，包括：

确定单位数据量的处理速度超出预设速度范围的任务的类型；

根据所述任务的类型对所述任务进行速度优化；

判断所述任务在优化后的单位数据量的处理速度是否在所述预设速度范围内；

如果所述任务在优化后的单位数据量的处理速度在所述预设速度范围内，记录所述速度优化的过程参数，并结束调整方法；

如果所述任务在优化后的单位数据量的处理速度在所述预设速度范围之外，根据集群服务器的内存数据计算优化因子，其中，所述集群服务器用于实施MapReduce模型的Reduce阶段；

根据所述优化因子与预设优化值的相对关系对所述集群服务器进行再次优化。

2.根据权利要求1所述的数据倾斜优化因子自动调整方法，其特征在于，根据所述优化因子与预设优化值的相对关系对所述集群服务器进行再次优化，包括：

判断所述优化因子是否小于所述预设优化值；

如果所述优化因子小于所述预设优化值，返回执行所述确定单位数据量的处理速度在预设速度范围内的任务的类型的操作；

如果所述优化因子大于等于所述预设优化值，提示开发人员对所述集群服务器进行扩容，并结束调整方法。

3.根据权利要求1所述的数据倾斜优化因子自动调整方法，其特征在于，确定单位数据量的处理速度超出预设速度范围的任务的类型之前，还包括：

记录所述Reduce阶段的耗时，计算所述单位数据量的处理速度并建立时间序列模型；

根据所述时间序列模型确定单位数据量的处理速度超出预设速度范围的任务。

4.根据权利要求1所述的数据倾斜优化因子自动调整方法，其特征在于，根据所述任务的类型对所述任务进行速度优化，包括：

如果所述任务为JOIN操作，根据所述任务中的数据集的大小和导致数据倾斜的主键数量进行第一速度优化操作，其中，所述第一速度优化操作包括下述至少一个：任务替换优化、扩容优化、扩容范围扩展优化、第一随机前缀优化和第一前缀范围扩展优化；

如果所述任务为聚合操作，根据所述任务的历史优化情况进行第二速度优化操作，其中，所述第二速度优化操作包括下述至少一种：第二随机前缀优化和第二前缀范围扩展优化。

5.根据权利要求4中所述的数据倾斜优化因子自动调整方法，其特征在于，根据所述任务中的数据集的大小和导致数据倾斜的主键数量进行第一速度优化操作，包括：

判断所述JOIN操作对应的数据集是否超出预设数据量；

若是，则根据所述数据集的主键数量和所述任务的历史优化情况实施所述扩容优化、所述扩容范围扩展优化、所述第一随机前缀优化或所述第一前缀范围扩展优化；

否则，将较小的所述数据集广播后，实施所述任务替换优化，其中，所述任务替换优化包括将所述任务由JION操作替换为MAP JION操作。

6.根据权利要求5中所述的数据倾斜优化因子自动调整方法，其特征在于，根据所述数据集的主键数量和所述任务的历史优化情况实施所述扩容优化、所述扩容范围扩展优化、所述第一随机前缀优化或所述第一前缀范围扩展优化，包括：

对实施所述JOIN操作的所述数据集进行抽样统计，确定导致数据倾斜的主键数量；

判断导致数据倾斜的所述主键数量是否大于预设值；

如果所述主键数量大于所述预设值，根据所述历史优化情况实施所述第一随机前缀优化或所述第一前缀范围扩展优化；

如果所述主键数量小于或等于所述预设值，根据所述历史优化情况判断所述数据集是否已经实施了所述扩容优化；

若是则对所述数据集实施所述扩容范围扩展优化；

否则对所述数据集实施所述扩容优化。