[发明专利]Spark SQL多表连接优化方法、装置、计算机设备和存储介质

权利要求书

1.一种Spark SQL多表连接优化方法，其特征在于，所述方法包括：

获取根据目标数据仓库设计的SQL多表连接查询语句集；

将所述SQL多表连接查询语句集划分为训练集和测试集；

根据所述训练集和所述测试集，对预先构建的马尔可夫决策模型进行训练，获得所述目标数据仓库的多表连接查询计划选择策略；

根据所述多表连接查询计划选择策略，对所述目标数据仓库的数据表进行连接。

2.根据权利要求1所述的方法，其特征在于，构建所述马尔可夫决策模型的方式为：

将Spark程序输入的SQL多表连接查询语句与数据仓库信息结合，以连接树的形式抽象为马尔可夫决策模型的状态特征；

将Spark SQL原有的逻辑计划选择和物理计划选择两个阶段结合，重新设计了计划选择方法，并抽象为马尔可夫决策模型的动作特征；

根据Spark SQL连接的物理实现，设计用于评估执行动作的时间代价的时间代价模型，作为马尔可夫决策模型的奖励；

根据所述状态特征、所述动作特征和所述奖励，构建所述马尔可夫决策模型。

3.根据权利要求2所述的方法，其特征在于，所述将Spark程序输入的SQL多表连接查询语句与数据仓库信息结合，以连接树的形式抽象为马尔可夫决策模型的状态特征的步骤，包括：

将Spark程序输入的SQL多表连接查询语句与数据仓库信息结合，以各连接树的形式表示对应的数据表，所述连接树的特征以向量的形式表示为：

其中，前m位是以独热编码的形式表示的连接树中包含的连接键，最后一位Ca是连接树执行结果的预估基数，由数据仓库提供的基数估计器获取；

由各所述连接树组成的森林，表示为马尔可夫决策模型的状态特征。

4.根据权利要求3所述的方法，其特征在于，所述将Spark SQL原有的逻辑计划选择和物理计划选择两个阶段结合，重新设计了计划选择方法，并抽象为马尔可夫决策模型的动作特征的步骤，包括：

从所述状态特征的森林中选取两个连接树L和R进行连接，并指定连接物理实现方法pa，表示为向量的形式[L，R，pa]，作为马尔可夫决策模型的动作特征；

其中，L代表连接左表，R代表连接右表，pa代表连接物理实现方法。

5.根据权利要求4所述的方法，其特征在于，所述连接物理实现方法包括：

广播小表后进行哈希连接、数据混洗后进行哈希连接和数据混洗后进行排序合并连接中的任意一种以上。

6.根据权利要求4所述的方法，其特征在于，所述根据Spark SQL连接的物理实现，设计用于评估执行动作的时间代价的时间代价模型，作为马尔可夫决策模型的奖励的步骤，包括：

对于所述动作特征[L，R，pa]，以所述连接树L和R的估计基数为输入，根据选用的所述连接物理实现方法pa选择代价模型，根据Spark集群计算节点的性能设置代价模型的参数，得到估算的动作时间代价，经过归一化后作为马尔可夫决策模型的奖励。

7.根据权利要求1所述的方法，其特征在于，所述根据所述训练集和所述测试集，对预先构建的马尔可夫决策模型进行训练，获得所述目标数据仓库的多表连接查询计划选择策略的步骤，包括：

根据所述训练集和所述测试集，采用交叉检验训练的方式对预先构建的马尔可夫决策模型进行训练，获得所述目标数据仓库的多表连接查询计划选择策略。

8.一种Spark SQL多表连接优化装置，其特征在于，所述装置包括：

语句集获取模块，用于获取根据目标数据仓库设计的SQL多表连接查询语句集；

划分模块，用于将所述SQL多表连接查询语句集划分为训练集和测试集；

训练模块，用于根据所述训练集和所述测试集，对预先构建的马尔可夫决策模型进行训练，获得所述目标数据仓库的多表连接查询计划选择策略；

连接模块，用于根据所述多表连接查询计划选择策略，对所述目标数据仓库的数据表进行连接。