[发明专利]数据倾斜处理方法、设备、存储介质及程序产品

说明书

本发明实施例提供一种数据倾斜处理方法、设备、存储介质及程序产品，该方法包括逻辑执行计划中的查询节点对待连接数据表进行查询，获得数据倾斜的键Key，根据所述数据倾斜的Key与数据倾斜策略对所述逻辑执行计划进行修改，以使从所述待连接数据表中拆分得到的所述数据倾斜的Key对应的第一待连接子表在Spark执行物理执行计划时进行映射端链接Map Join，根据修改后的所述逻辑执行计划，生成所述物理执行计划。本实施例提供的方法通过对逻辑执行计划进行修改，从根源上规避了数据倾斜带来的诸多问题，减少了场景限制，避免了对统计信息的依赖，提高了数据倾斜处理的全面性和准确性。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据倾斜处理方法、设备、存储介质及程序产品。

背景技术

对于分布式集群系统，其不同节点负责一定范围的数据存储或数据计算。通常将数据分散度不够，导致大量的数据集中到一台或者几台服务节点上的情况，称为数据倾斜。以分布式计算引擎Spark为例，Spark计算引擎进行洗牌Shuffle的时候，需要将各个节点上相同的键Key拉取到某个节点上的一个任务task来进行处理，整个Spark作业的运行进度是由运行时间最长的task决定，因此部分Key发生数据倾斜后，会使得Spark的整体计算效率降低。

现有技术中，可以从引擎内核层面，引入自适应查询执行(Adaptive QueryExecution，AQE)技术，AQE针对上述数据倾斜问题使用运行时的统计信息自动优化查询执行，动态的发现倾斜数据的数量，并且把倾斜的分区分成更小的子分区来处理。

然而，实现本发明过程中，发明人发现现有技术中心至少存在如下问题：通过AOE技术进行数据倾斜的优化，依赖于统计信息的准确度，且仅支持部分场景，例如仅支持同一阶段Stage中只有一个链接Join的场景，具有局限性。

发明内容

本发明实施例提供一种数据倾斜处理方法、设备、存储介质及程序产品，以提高数据倾斜处理的全面性和准确性。

第一方面，本发明实施例提供一种数据倾斜处理方法，包括：

通过逻辑执行计划中的查询节点对待连接数据表进行查询，获得数据倾斜的键Key；

根据所述数据倾斜的Key与数据倾斜策略对所述逻辑执行计划进行修改，以使从所述待连接数据表中拆分得到的所述数据倾斜的Key对应的第一待连接子表在分布式计算引擎Spark执行物理执行计划时进行映射端链接Map Join；

根据修改后的所述逻辑执行计划，生成所述物理执行计划，以通过Spark执行所述物理执行计划。

第二方面，本发明实施例提供一种数据倾斜处理设备，包括：

查询模块，用于通过逻辑执行计划中的查询节点对待连接数据表进行查询，获得数据倾斜的键Key；

修改模块，用于根据所述数据倾斜的Key与数据倾斜策略对所述逻辑执行计划进行修改，以使从所述待连接数据表中拆分得到的所述数据倾斜的Key对应的第一待连接子表在分布式计算引擎Spark执行物理执行计划时进行映射端链接Map Join；

生成模块，用于根据修改后的所述逻辑执行计划，生成所述物理执行计划，以通过Spark执行所述物理执行计划。

第三方面，本发明实施例提供一种数据倾斜处理设备，包括：至少一个处理器和存储器；

所述存储器存储计算机执行指令；

所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的方法。