[发明专利]数据倾斜处理方法、设备、存储介质及程序产品

权利要求书

1.一种数据倾斜处理方法，其特征在于，包括：

通过逻辑执行计划中的查询节点对待连接数据表进行查询，获得数据倾斜的键Key；

根据所述数据倾斜的Key与数据倾斜策略对所述逻辑执行计划进行修改，以使从所述待连接数据表中拆分得到的所述数据倾斜的Key对应的第一待连接子表在分布式计算引擎Spark执行物理执行计划时进行映射端链接Map Join；

根据修改后的所述逻辑执行计划，生成所述物理执行计划，以通过Spark执行所述物理执行计划。

2.根据权利要求1所述的方法，其特征在于，所述通过逻辑执行计划中的查询节点对待连接数据表进行查询，获得数据倾斜的Key，包括：

针对所述待连接数据表的每个Key，将所述Key对应的数据量与第一预设阈值进行对比；

若所述Key对应的数据量大于所述第一预设阈值，则将所述Key确定为数据倾斜的Key。

3.根据权利要求1或2所述的方法，其特征在于，所述根据所述数据倾斜的Key与数据倾斜策略对所述逻辑执行计划进行修改，包括：

在所述逻辑执行计划中增加以下处理步骤：

根据所述数据倾斜的Key，将所述待连接数据表的数据进行拆分，得到所述第一待连接子表和数据非倾斜的Key对应的第二待连接子表；

将连接后的所述第一待连接子表和连接后的所述第二待连接子表进行合并，得到最终的数据表。

4.根据权利要求3所述的方法，其特征在于，所述将连接后的所述第一待连接子表和连接后的所述第二待连接子表进行合并，包括：

通过Union算子，将连接后的所述第一待连接子表和连接后的所述第二待连接子表进行合并，得到最终的数据表。

5.根据权利要求3所述的方法，其特征在于，所述待连接数据表包括第一数据表和第二数据表，所述数据倾斜的Key来自于所述第一数据表和/或所述第二数据表。

6.根据权利要求5所述的方法，其特征在于，所述数据倾斜的Key为多个，所述第一待连接子表为多个，所述数据倾斜的Key与所述第一待连接子表一一对应；

所述从所述待连接数据表中拆分得到的所述数据倾斜的Key对应的第一待连接子表在Spark执行物理执行计划时进行Map Join，包括：

针对每个数据倾斜的Key，所述数据倾斜的Key对应的第一待连接子表在Spark执行物理执行计划时进行Map Join。

7.根据权利要求5所述的方法，其特征在于，所述数据倾斜的Key为多个，所述第一待连接子表为至少一个；

所述根据所述数据倾斜的Key与数据倾斜策略对所述逻辑执行计划进行修改，还包括：

将所述数据倾斜的Key进行分组，得到多个分组；每个分组的总数据量小于第二预设阈值；

每个分组对应一个所述第一待连接子表；

所述从所述待连接数据表中拆分得到的所述数据倾斜的Key对应的第一待连接子表在Spark执行物理执行计划时进行Map Join，包括：

针对每个分组，所述分组对应的第一待连接子表在Spark执行物理执行计划时进行MapJoin。

8.根据权利要求3所述的方法，其特征在于，所述通过逻辑执行计划中的查询节点对待连接数据表进行查询之前，还包括：

将结构化查询语言SQL文本解析成语法树，生成未解析逻辑执行计划；

对所述未解析逻辑执行计划进行解析，得到逻辑执行计划；

在所述逻辑执行计划中加入所述查询节点。

9.根据权利要求3所述的方法，其特征在于，所述根据修改后的所述逻辑执行计划，生成所述物理执行计划，包括：

对修改后的所述逻辑执行计划进行更新，得到更新后的逻辑执行计划；

对所述更新后的逻辑执行计划进行优化，得到优化后的逻辑执行计划；

将所述优化后的逻辑执行计划转换为物理执行计划。