[发明专利]基于谓词规约和代价估算的局部多查询优化方法

摘要

本发明公开一种基于谓词规约和代价估算的局部多查询优化方法，属于大数据查询优化领域，本发明方法为：首先利用数据查询系统已有的优化器对查询集合中的查询分别进行优化，并以查询树的形式表示，得到优化后的查询树集合；然后结合局部多查询优化方法，通过多次迭代，对查询之间相同或相近的子任务进行等价或规约处理，生成全局多查询计划树；最后结合生成的全局多查询计划和子任务之间的规约关系，根据代价模型估算中间结果重用开销，判断直接执行子任务还是重用中间结果，对全局多查询计划进行优化。本发明充分考虑中间结果利用和查询并发之间的平衡，减少重复操作，有效提升查询性能。

主权项

1.一种基于谓词规约和代价估算的局部多查询优化方法，其特征在于：分为预处理、局部多查询优化处理和多查询计划优化三个阶段，具体步骤如下：(1)预处理阶段：步骤(1‑1)，利用数据查询系统已有的查询优化器，对查询集合中的每条查询进行优化，分别找到最优的查询计划，并以查询计划树的形式表示，得到查询计划树集合；步骤(1‑2)，重新定义查询计划树中的节点编号；步骤(1‑3)，定义节点映射关系map<Node key,Node value>M，并将M初始化为空；步骤(1‑4)，将所有的查询计划树中的节点添加至全局多查询计划树中，并在全局多查询计划树中添加“超根节点”，其中，“超根节点”指向查询计划树集合中各个查询的根节点；(2)局部多查询优化处理阶段：步骤(2‑1)，遍历查询全局多查询计划树中的节点集合V＝{v₁,v₂,...,v_n}，若集合V中存在与当前节点等价的节点，选择节点集合V中等价查询节点中编号最小的节点v_j^*，进行合并操作，用v_j^*代替所有v_i∈V‑{v_j^*}；步骤(2‑2)，对于每个节点v_i，找到符合“最强归约条件”的子任务task_j^*，在M中添加v_j^*到v_i的映射，通过有向线段连接v_j^*→v_i，并改变v_j^*的操作描述，以节点v_i所对应的子任务task_i的结果作为子任务task_j^*的输入，其中，对于每个子任务task_i，如果task_i的执行结果包含了其他子任务的结果，则认为其他子任务可以被规约到task_i，能够被规约到task_i的所有子任务中，结果与task_i最相近的子任务被称为符合“最强归约条件”的子任务task_j^*；步骤(2‑3)，重复步骤(2‑1)和步骤(2‑2)，对全局多查询计划树中的节点进行等价替换和规约替换，直到无法进一步简化全局多查询计划树为止；(3)多查询计划优化阶段：步骤(3‑1)，获取局部多查询优化处理阶段得到的映射关系和全局多查询计划树；步骤(3‑2)，根据映射关系map<Node key,Node value>M，遍历全局多查询计划树中的节点，若遍历完成，则执行步骤(3‑8)；步骤(3‑3)，根据不同任务对应的代价模型，估算直接开销和重用开销，其中，所述直接开销为全局多查询计划树中的节点直接执行对应任务的CPU计算开销，所述重用开销为依赖节点对应任务的CPU计算开销以及对所依赖节点对应任务产生的结果进行网络传输和计算的开销；步骤(3‑4)，对比重用开销和直接开销，若重用开销大于直接开销，则执行步骤(3‑5)；若重用开销小于直接开销，则执行步骤(3‑6)；步骤(3‑5)，将映射关系中节点对应的关系映射为自己，不利用中间结果直接执行节点对应的任务，然后执行步骤(3‑7)；步骤(3‑6)，重复步骤(3‑3)和步骤(3‑4)，判断是否存在重用开销更低的节点，若存在则更新映射关系，将该节点映射到重用开销更低的节点；步骤(3‑7)，重复步骤(3‑2)；步骤(3‑8)，返回全局多查询计划树。