[发明专利]一种分布式数据库的查询优化方法

说明书

本发明公开了一种分布式数据库的查询优化方法，方法包括：修改LIP算法中的计算操作并下推部分计算，基于多表聚合操作完成后的聚合数据建立哈希表并完成探测，形成分布式的LIP算法；在存储层构建过滤器，数据在TiKV节点完成表扫描和算子操作后，以维度表的每个分区表构建过滤器，构建完成的过滤器通过网络分发到其他节点；修改缺失率计算公式，探测过滤器并计算过滤器的缺失率，按照缺失率对过滤器升序排列；数据经过TiKV节点的算子计算和过滤器勘测后，返回TiKV节点，并在TiDB服务器上进行聚合之后，将聚合后的查询结果返回给客户端。通过本发明能降低次优计划执行对查询性能的影响，提升TiDB在星型模型查询下的性能，并减少分布式环境下的数据网络开销。

技术领域

本发明涉及计算机数据库管理领域，尤其涉及一种分布式数据库的查询优化方法。

背景技术

数据库管理系统(RDBMS)是位于用户与操作系统之间的一层数据管理软件，是现代计算机环境中的一个核心组件，提供了数据的存储、管理、处理和维护等功能。其中关系型数据库保证了数据的集成性和共享性，可以将数据极其关系集中在一起并按照某种结构形式存储，并同时为多个不同的用户所共享，为当时的企业和政府部门的数据管理提供了极大的便利。但是随着互联网的不断发展，产生和需要处理的数据量急剧增长。数据的急剧增长给数据库带来的一个问题是，这些数据难以在单一机器上得到有效的存储和处理，很难满足新时代下数据高效处理和存储的要求。

为了解决关系型数据库无法应对大数据时代的种种挑战的问题，数据库系统的架构发生了巨大的改变，分布式关系型数据库(即NewSQL)的出现融合了SQL与NoSQL模式，对外同时提供了SQL接口、分布式事务和集群的高扩展性。NewSQL的基本功能包括分布式事务，SQL到NoSQL的映射等技术都基本完善后，由于存储的数据量增加，NewSQL数据库相比于传统关系型数据来说，应用场景也不再局限于在线事务分析，还要包含一些大型复杂分析查询和离线分析的场景。虽然NoSQL的出现能够解决当下的很多问题，但仍然存在着很多问题。其中最重要也是最普遍的一点是所有的NoSQL数据库都不支持SQL标准，这对于广泛使用SQL作为上层接口的众多公司与研究人员来说，带来了不便，也造成了专为SQL设计的应用的迁移难度。如何提升在大型复杂分析查询和OLAP场景下的查询性能，是NewSQL数据库的关键问题。

发明内容

本发明的目的在于克服现有技术的不足，提供一种分布式数据库的查询优化方法，基于新型的NewSQL数据库TiDB，通过分布式环境下减小数据和传输的网络开销和执行过程中的连接重排序算法，来减小优化器选择了次优查询计划后对性能的影响，提高查询计划的健壮性，为分布式数据库的每个查询提供稳定的、预期的或接近于预期的查询性能。

本发明的目的是通过以下技术方案来实现的：

一种分布式数据库的查询优化方法，在分布式数据库查询优化过程中，添加了改进优化后的LIP算法的步骤，LIP算法的改进优化步骤包括：

修改LIP算法中的计算操作并下推部分计算，将构建哈希表和探测哈希表两个操作不作下推处理，在多表聚合操作完成之后再基于聚合的数据建立哈希表并完成探测，形成分布式的LIP算法；

在存储层构建过滤器，数据在TiKV节点完成表扫描和其他算子操作后，以维度表的每个分区表构建过滤器，构建完成的过滤器通过网络分发到TiKV集群中的其他TiKV节点；

修改缺失率计算公式，将过滤器缺失率的计算公式变为：

其中i为分片的个数；

所有数据经过TiKV节点的算子计算和过滤器勘测后，返回TiKV节点，并在TiDB服务器上进行聚合之后，将聚合后的查询结果返回给客户端。

具体的，所述在存储层构构建的过滤器为布谷鸟过滤器，用于查找哈希表中的元素，并向表中动态添加和删除任何元素，进一步提高空间利用效率。