[发明专利]Spark SQL多表连接优化方法、装置、计算机设备和存储介质

说明书

本申请涉及一种Spark SQL多表连接优化方法、装置、计算机设备和存储介质。该方法包括：获取根据目标数据仓库设计的SQL多表连接查询语句集；将SQL多表连接查询语句集划分为训练集和测试集；根据训练集和测试集，对预先构建的马尔可夫决策模型进行训练，获得目标数据仓库的多表连接查询计划选择策略；根据多表连接查询计划选择策略，对目标数据仓库的数据表进行连接。解决了Spark SQL现有的查询优化在多表连接查询计划选择时效率低、依赖开发人员经验的问题，能够快速有效地构建多表连接查询执行计划，从而提高Spark SQL执行效率。

技术领域

本申请涉及大数据技术领域，特别是涉及一种Spark SQL多表连接优化方法、装置、计算机设备和存储介质。

背景技术

Spark SQL是Spark用于处理结构化数据的组件，是Spark中最常用的组件之一。Spark SQL的起源是为熟悉传统关系型数据库但不理解MapReduce方法的技术人员提供快速上手的工具，可以使用结构化数据查询语言的形式使用Spark集群处理大规模数据。其实现方式是通过catalyst查询优化器对输入的类SQL语句进行分析、优化，最终形成Spark底层程序执行。而Spark SQL查询优化与传统数据库一样，存在多表连接查询执行性能较低的问题。对于多表连接查询，多表之间不同的连接顺序和连接的物理实现都是影响执行时间的重要因素，需要优化器快速有效地选择最优执行计划。

目前Spark SQL解决多表连接查询计划选择问题的方法是基于代价的优化，通过设置代价模型来预先评估两表连接的代价，使用动态规划算法选择预估代价最小的连接顺序构建逻辑计划，并根据设定的阈值选择物理实现构建物理计划。但是，多表连接执行计划搜索空间随连接表的数量爆炸式增长，在查询中连接表数量较多时选择最优计划的时间过长，选择连接物理实现方法的阈值也依赖于开发人员的经验手动调整。伴随着大数据中一些复杂分析方法的发展，Spark SQL在多表连接查询中的问题越来越突出。近年来，在传统数据库领域出现了一些使用深度强化学习优化多表连接查询的方法。但是，这些方法只针对多表连接的顺序进行优化，在Spark SQL中，查询被转换为Spark RDD底层程序执行，连接操作在执行时不同的物理实现方法也是影响多表连接查询性能的重要因素。

因此，现有的Spark SQL查询优化器存在选择最优连接执行计划效率低和选择最优物理计划依赖开发人员的经验。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高最优连接执行计划效率的Spark SQL多表连接优化方法、装置、计算机设备和存储介质。

一种Spark SQL多表连接优化方法，所述方法包括：

获取根据目标数据仓库设计的SQL多表连接查询语句集；

将所述SQL多表连接查询语句集划分为训练集和测试集；

根据所述训练集和所述测试集，对预先构建的马尔可夫决策模型进行训练，获得所述目标数据仓库的多表连接查询计划选择策略；

根据所述多表连接查询计划选择策略，对所述目标数据仓库的数据表进行连接。

在其中一个实施例中，构建所述马尔可夫决策模型的方式为：

将Spark程序输入的SQL多表连接查询语句与数据仓库信息结合，以连接树的形式抽象为马尔可夫决策模型的状态特征；

将Spark SQL原有的逻辑计划选择和物理计划选择两个阶段结合，重新设计了计划选择方法，并抽象为马尔可夫决策模型的动作特征；

根据Spark SQL连接的物理实现，设计用于评估执行动作的时间代价的时间代价模型，作为马尔可夫决策模型的奖励；

根据所述状态特征、所述动作特征和所述奖励，构建所述马尔可夫决策模型。