[发明专利]一种基于超图和动态规划的大数据实时查询优化方法

摘要

本发明涉及大数据实时查询技术领域，尤其涉及一种基于超图和动态规划的大数据实时查询优化方法，该方法通过采用基于最佳代价的连接顺序优化方法来提升查询效率，在大数据环境下满足用户的实时查询需求。本发明的有益效果在于针对执行计划搜索空间过大的问题，构建满足左线性树的搜索策略，大大降低了搜索的空间，提升了基于超图和动态计划算法运行的效率；构建满足大数据环境的最佳代价模型，综合考虑了大数据环境下传输代价及哈希连接算法运行特性等因素，确保了优化方法生成的计划是最佳的。

主权项

一种基于超图和动态规划的大数据实时查询优化方法，其特征在于包括：最佳代价模型构建过程和执行计划空间搜索过程，最佳代价模型构建过程包括以下步骤：a)分析元数据服务器中表数据，构建生成细粒度的列级统计信息直方图，并将其存储在元数据服务器中；b)利用统计信息，构建相应最佳代价模型供生成计划时使用；最佳代价模型如下式所示：其中，i∈[1，n‑1]，n代表参与连接的关系数，Ti代表已经计算出代价的一棵子树，Ri表示可以与Ti能够进行连接且不在Ti子树中的一个关系；表示左右子树连接后得到的中间结果，取其最大值作为连接顺序优化算法的代价模型；执行计划空间搜索过程包括以下步骤：1)解析数据库查询语句，将结果保存于查询超图G＝(V，E)数据结构中，查询超图G＝(V，E)满足两个条件：第一，V是一个非空的顶点集，即所有参与连接的关系的集合；第二，E是一组超边集合，即代表关系间连接操作的集合，其中超边是一个无序对(u，v)，u和v是属于顶点集V的非空子集，并且u∩v＝；2)为单个关系初始化设置执行计划，将其保存在相应动态计划表中，其它元素值全部置为；3)定义好计算枚举策略：每个连通子图及连通补集对只被生成一次；4)通过计算领域以枚举连通子图；5)为每个连通子图找到合适的连通补集；6)为每对连通子图和连通补集构成的执行计划计算其代价，依照代价模型更新其相应执行计划；7)重复执行步骤4)——步骤7)，直到整个左线性树构成的执行计划空间搜索完毕，生成执行计划树。