[发明专利]一种分布式内存数据查询优化的方法和设备

说明书

本发明公开了一种分布式内存数据查询优化的方法和设备，应用于包括多个并行连接的内存数据库的分布式系统中，当存在至少一个数据源接入系统且接收到数据查询请求时，根据数据查询请求生成查询计划；若已连接数据源的连接器的数量为多个，根据智能化优化算法库对所述的查询计划进行优化，并将通过所述智能优化算法库将所述执行计划分解为与各个数据源对应的多个子查询计划；基于多个连接器将各子查询计划分别下推至各数据源查询；基于各连接器从各数据源获取与各子查询计划对应的多个初步数据；根据多个初步数据获取与查询请求对应的结果数据，并将结果数据返回用户或应用，从而在避免投入较高成本的基础上，提高了对不同数据源进行数据查询的效率和安全性。

技术领域

本申请涉及数据库技术领域，更具体地，涉及一种分布式内存数据查询优化的方法和设备。

背景技术

多源异构数据实时性查询是政府部门和企业提升自身服务能力、业务效率、用户满意度、市场竞争力和应收等不可或缺的基础数据处理能力。尤其是随着大数据时代的到来和各行各业的数字化发展，大规模数据并行处理、海量数据共享和快速查询为电商、移动、政府等行业用户的业务飞快发展带来了巨大收益。然而，数据量爆发式增长、数据类型日益繁杂，以及最终用户量和业务量的快速增长，使得用户采用现有技术的数据库管理系统在面向多源异构数据高并发查询的响应效率越来越无法满足业务的实时性要求，查询效率伴随数据量和并发量急剧增长而急剧下降，很大程度影响了用户的业务发展及最终用户的使用体验。因此，在实现多源异构数据统一连接和共享的基础上，如何提升海量多源异构数据的查询效率成为许多行业用户面临的新挑战，而现有同类技术因技术本身瓶颈、缺少优化算法等不同原因都无法尽如人意。

根据发明人对行业内相关技术的了解，与本方案相关的方案有两种，分别为“基于本地数据库系统的多源异构数据查询的方法及系统”和“基于跨源异构连接技术的简单SQL下推的数据查询的方法及系统”。其中：

1、基于本地数据库系统的多源异构数据查询的方法及系统。

如图1所示，基于本地数据库系统的多源异构数据查询的方法及系统是通过构建本地数据库系统，前期将多源异构数据源中的大规模数据迁移至本地数据库系统中存储，后期再通过数据同步或异步备份的方式，保持本地数据库系统中的数据与数据源中结果数据的更新。该方法及系统在处理用户查询请求时，只需要将用户提交的SQL语句进行解析、优化并生成执行，在本地数据库系统中执行，获取符合查询条件的结果数据反馈给用户。

该方法及系统很好地解决了多源异构数据的统一查询问题，且计算资源充足的情况下，查询效率也较快。但受到实现机制和路径的影响，该方法及系统一方面需要花费高昂的成本建设本地数据库系统，且随着数据源和结果数据量的增长本地数据库系统还需要不断升级扩容，成本还会持续增长，一旦升级不及时或容量不足，系统的查询效率将受到严重影响。另一方面，尽管本地数据库系统的数据能够通过同步和异步备份的方式实现更新，但是更新总有一定的时间间隔，这意味着用户在查询时无法获取实时更新的结果数据，也就难以在第一时间获取市场、业务等数据，并根据这些数据为企业或业务发展做出精准决策。因此，虽然该方法及系统查询效率较高，但因数据更新带来的延迟导致查询的结果并不能体现现实最新的实时动态变化，难以为企业级用户的业务决策提供有效可靠精准的支撑，且高昂的建设成本很多用户也难以承担。

2、基于跨源异构连接技术的简单SQL下推的数据查询的方法及系统。

如图2所示，基于跨源异构连接技术的简单SQL下推的数据查询的方法及系统，该方法及系统与本专利十分类似，同样是基于多源异构数据源统一连接技术实现的方法及系统，即实现多个不同类型数据源的连接和查询不需要构建本地数据库系统，通过简单的SQL下推功能即可完成多源异构数据的统一共享和查询，且每次查询都是从数据源获取实时更新的结果数据，确保了查询结果是实时更新的数据。但不同的是，该方法及系统在处理的过程中，系统在将用户提交的SQL语句解析成查询计划后，直接将全部的查询计划同步下推至与该系统连接的每个数据源执行，这就意味无论数据源中是否存在与查询条件相关的数据，或数据源中只存在满足一部分查询条件的数据，全部的查询计划都将在每个数据源中全部执行。