[发明专利]一种分布式数据库SQL执行中INNER JOIN的智能评估方法有效
申请号: | 201510932891.9 | 申请日: | 2015-12-12 |
公开(公告)号: | CN105512315B | 公开(公告)日: | 2019-04-30 |
发明(设计)人: | 武新;崔维力;宋永智 | 申请(专利权)人: | 天津南大通用数据技术股份有限公司 |
主分类号: | G06F16/27 | 分类号: | G06F16/27 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 300384 天津市西青区华苑产*** | 国省代码: | 天津;12 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分布式数据库 评估 数据存储领域 动态规划 可扩展性 遗传算法 用户指定 智能 高效率 数据量 保证 | ||
本发明涉及分布式数据库数据存储领域,尤其涉及一种分布式数据库SQL执行中INNER JOIN的智能评估方法。该方法采用贪心方法、动态规划方法和遗传算法3种评估方法相结合的方式选取INNER JOIN的较优执行顺序,尽可能减少INNER JOIN之后的数据量,保证INNER JOIN的高效率执行。本发明可以由用户指定任一种评估方法,提高系统的灵活性和可扩展性。
技术领域
本发明涉及分布式数据库数据存储领域,尤其涉及一种分布式数据库SQL执行中INNER JOIN的智能评估方法。
背景技术
在当今社会,各个行业几乎都会利用数据库去存储数据,而随着大数据与云计算时代的到来,这些行业数据存储与计算的需求越发迫切,因此传统的单机数据库系统无法满足用户的需求,无法完成海量数据的计算与存储。因此,分布式数据库成为了业界的宠儿,随着分布式技术、高速网络传输技术以及并行计算技术的发展与成熟,分布式数据库更是成为了数据库行业的主流产品。
分布式数据库一般都是采用多台机器存储数据,即将用户数据根据某种数据散布算法分布到数据库的各个工作机器中,这样来减少单台数据库工作机器所存储的数据量,减少每一台机器的存储与计算压力。因此,许多业界知名的公司都采用这种方式应对海量数据,例如Amazon的分布式存储系统就是将数据分成许多数据块,将数据块分布到数据库集群中的各个节点去存储与计算。
分布式数据库在执行SQL时,需要指定出符合分布式架构的执行计划,将单机的执行计划扩展到分布式的执行计划,以充分利用各个机器的资源,使SQL执行的更加高效与快速。在指定分布式执行计划时,需要保证SQL的执行结果与在单机执行的结果一致,即保证SQL执行后数据结果集是正确的。
分布式数据库执行SQL时,对于INNER JOIN的计划需要仔细设计,类似于矩阵乘法,不同的执行顺序有不同的执行中间结果集,因此不同的执行顺序的执行性能也是不同的,最优执行计划与最差执行计划之间的执行效率差别非常的大,甚至执行时间有十倍以上的差距。因此,对于INNER JOIN的执行计划中需要较优的执行顺序,以保证执行的性能。业界数据库中有很多使用贪心策略或是使用动态规划策略的产品,但是这些产品无法灵活的应对多变的应用环境。
发明内容
为解决上述问题,本发明提供了一种分布式数据库SQL执行中INNER JOIN的智能评估方法,将人工指定评估方法与系统自动选取与调节方式相结合,以确保评估算法本身执行时间与INNER JOIN执行时间的平衡,使系统执行更灵活、更高效。
为实现上述目的,本发明采用的技术方案如下:
一种分布式数据库SQL执行中INNER JOIN的智能评估方法,包括以下步骤:
步骤1、数据库系统接收到用户下发的SQL,对SQL进行解析;
步骤2、判断解析的SQL中用户是否指定了评估INNER JOIN的方法,若已指定,则顺序执行步骤3,若没指定,则跳转到步骤4;其中,评估INNER JOIN的方法包括贪心方法、动态规划方法和遗传算法;
步骤3、按照用户指定的方法执行INNER JOIN的评估,评估完后跳转到步骤5;若用户指定采用遗传算法评估INNER JOIN,用户需指定遗传算法迭代的次数;
步骤4、按照系统默认的方法执行INNER JOIN的评估,具体步骤如下:
步骤4-1、按照动态规划的方法执行INNER JOIN的评估;
步骤4-2、判断动态规划方法是否执行完毕,若已经执行完毕,则跳转到步骤5,否则顺序执行步骤4-3;
步骤4-3、判断动态规划方法的执行时间是否超过了管理员预先设置的时间阈值,若超过了,则顺序执行步骤4-4,否则跳转到步骤4-2;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于天津南大通用数据技术股份有限公司,未经天津南大通用数据技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201510932891.9/2.html,转载请声明来源钻瓜专利网。