[发明专利]分布式数据的均衡处理方法、装置、计算终端和存储介质

说明书

本申请公开了一种分布式数据的均衡处理方法、装置、计算终端和存储介质。分布式数据的均衡处理方法包括：获取shuffle统计数据；根据shuffle统计数据，判断是否存在数据倾斜分区；当存在数据倾斜分区时，对数据倾斜分区进行切分；根据切分后的分区，改写物理计划；执行改写后的物理计划。通过以上技术手段，能有效解决数据倾斜情况下导致性能大幅下降问题，实现分布式数据的均衡处理，提升分布式计算的运行速度。

技术领域

本申请涉及一种分布式数据的均衡处理方法、装置、计算终端和存储介质。

背景技术

MapReduce是处理海量数据的计算模型，其包括映射(Map)和归约(Reduce)两个处理过程，而数据从Map task输出到Reduce task输入的这段过程为重排(Shuffle)。在Map中，每个Map task会输出一组key/value对,Shuffle阶段需要从所有Map上把key相同的key/value对组合在一起，作为输入传至Reduce task里。

在Shuffle阶段，当某个Key的分区的数据过度集中，就会产生数据倾斜。数据倾斜会导致任务集中在某一台或者某几台机器中处理，这些过度集中的任务由于数据量很大，导致计算过程缓慢，从而拉低了整个作业的运行速度。

发明内容

以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。

一方面，本申请实施例提供了一种分布式数据的均衡处理方法、装置、计算终端和存储介质，用于解决数据倾斜的问题，提升分布式数据处理的运行速度。

另一方面，本申请实施例提供了一种分布式数据的均衡处理方法，包括：获取shuffle统计数据，其中，所述shuffle统计数据包括shuffle阶段中各个分区的数据量；

根据shuffle统计数据，判断是否存在数据倾斜分区；

当存在数据倾斜分区时，对数据倾斜分区进行切分；

根据切分后的分区，改写物理计划；

执行改写后的物理计划。

另一方面，本申请实施例提供了一种分布式数据均衡处理装置，包括：

shuffle统计获取模块，用于获取shuffle统计数据，其中，所述shuffle统计数据包括shuffle阶段中各个分区的数据量；

倾斜判断模块，用于根据shuffle统计数据，判断是否存在数据倾斜分区；

分区切分模块，用于当存在数据倾斜分区时，对数据倾斜分区进行切分；

物理计划改写模块，用于根据切分后的分区，改写物理计划；

物理计划执行模块，用于执行改写后的物理计划。

另一方面，本申请实施例提供了一种计算终端，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序时执行所述的分布式数据的均衡处理方法。

另一方面，本申请实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令用于执行所述的分布式数据的均衡处理所述的方法。

本申请实施例包括：获取shuffle统计数据；根据shuffle统计数据，判断是否存在数据倾斜分区；当存在数据倾斜分区时，对数据倾斜分区进行切分；根据切分后的分区，改写物理计划；执行改写后的物理计划。通过以上技术手段，能有效解决数据倾斜情况下导致性能大幅下降问题，实现分布式数据的均衡处理，提升分布式计算的运行速度。