[发明专利]一种数据倾斜优化因子自动调整方法、装置、设备和介质

说明书

本发明公开了一种数据倾斜优化因子自动调整方法、装置、设备和介质。该方法包括：确定单位数据量的处理速度超出预设速度范围的任务的类型；根据任务的类型对任务进行速度优化；判断任务在优化后的单位数据量的处理速度是否在预设速度范围内；如果任务在优化后的单位数据量的处理速度在预设速度范围内，记录速度优化的过程参数，并结束调整方法；如果任务在优化后的单位数据量的处理速度在预设速度范围之外，根据集群服务器的内存数据计算优化因子；根据优化因子与预设优化值的相对关系对集群服务器进行再次优化。本申请方案实现了数据倾斜优化因子的自动调整，降低了开发人员的工作量的同时提高了数据处理的可靠度。

技术领域

本发明涉及数据处理领域，尤其涉及一种数据倾斜优化因子自动调整方法、装置、设备和介质。

背景技术

在进行大数据分析时，通常会用到映射规约模型(MapReduce模型)。在利用MapReduce模型进行数据分析处理的过程中，Reduce阶段发生数据倾斜问题是很常见的。如果某个主键对应的数据量特别大的话，会造成某个节点的堵塞甚至死机的情况，大大影响了数据处理的进度。

现有的数据倾斜的处理方法是在处理的过程中每天关注任务的执行情况，在数据倾斜导致任务执行失败或是任务耗时超出阈值时，逐条的查看任务的运行日志，排查具体问题。

现有的数据倾斜处理方法需要开发人员长时间的监控和排查，工作量大且浪费时间。

发明内容

本发明提供了一种数据倾斜优化因子自动调整方法、装置、设备和介质，以实现数据倾斜优化因子的自动调整，降低开发人员的工作量的同时提高数据处理的可靠度。

根据本发明的一方面，提供了一种数据倾斜优化因子自动调整方法，该方法包括：

确定单位数据量的处理速度超出预设速度范围的任务的类型；

根据所述任务的类型对所述任务进行速度优化；

判断所述任务在优化后的单位数据量的处理速度是否在所述预设速度范围内；

如果所述任务在优化后的单位数据量的处理速度在所述预设速度范围内，记录所述速度优化的过程参数，并结束调整方法；

如果所述任务在优化后的单位数据量的处理速度在所述预设速度范围之外，根据集群服务器的内存数据计算优化因子，其中，所述集群服务器用于实施MapReduce模型的Reduce阶段；

根据所述优化因子与预设优化值的相对关系对所述集群服务器进行再次优化。

根据本发明的另一方面，提供了一种数据倾斜优化因子自动调整装置，该装置包括：任务类型确定模块、速度优化模块、处理速度确定模块、过程参数记录模块、优化因子计算模块和再次优化模块；

任务类型确定模块用于确定单位数据量的处理速度超出预设速度范围的任务的类型；

速度优化模块用于根据所述任务的类型对所述任务进行速度优化；

处理速度确定模块用于判断所述任务在优化后的单位数据量的处理速度是否在所述预设速度范围内；

过程参数记录模块用于如果所述任务在优化后的单位数据量的处理速度在所述预设速度范围内，记录所述速度优化的过程参数并结束调整方法；

优化因子计算模块用于如果所述任务在优化后的单位数据量的处理速度在所述预设速度范围之外，根据集群服务器的内存数据计算优化因子，其中，所述集群服务器用于实施MapReduce模型的Reduce阶段；

再次优化模块用于根据所述优化因子与预设优化值的相对关系对所述集群服务器进行再次优化。