[发明专利]一种分布式数据存储引擎调度方法

说明书

本发明公开一种分布式数据存储引擎调度方法，包括：获取并基于分布式数据库的个数构建多个并行的时序引擎；基于每个时序引擎得到多个分布式数据库的时序查询结果；对多个时序查询结果通过分布式存储引擎处理实现数据的读写。通过构建时序引擎，对分布式数据库进行并行且顺序查找存储节点位置，从而实现大规模、有序的数据查找，在保证查找全面性的同时，提高数据库的查找效率。

技术领域

本发明属于分布式存储技术领域，具体地说涉及一种分布式数据存储引擎调度方法。

背景技术

随着大数据时代的到来，企业数据也随之越来越多，这对数据存储提出了更高的要求，基于传统的单机数据库的基础上发展出的分布式数据库技术虽然能够很好的满足存储需求，但在海量数据的查找仍处于较低效的状态，如何处理分布式、高并发的PB级存储数据仍是目前亟待解决的难题。

因此，现有技术还有待于进一步发展和改进。

发明内容

针对现有技术的种种不足，为了解决上述问题，现提出一种分布式数据存储引擎调度方法。本发明提供如下技术方案：

一种分布式数据存储引擎调度方法，包括：

获取并基于分布式数据库的个数构建多个并行的时序引擎；

基于每个时序引擎得到多个分布式数据库的时序查询结果；

对多个时序查询结果通过分布式存储引擎处理实现数据的读写。

进一步的，所述时序引擎包括依次执行的前台引擎、计划引擎、调度引擎以及查询引擎。

进一步的，所述前台引擎包括对用户进行身份认证，过滤用户的单批次重复请求后，将用户请求分发给计划引擎。

进一步的，所述计划引擎包括基于前台引擎分发的用户请求，进行SQL语句的解析、语义检查和查询优化，产生逻辑任务规划。

进一步的，所述调度引擎包括执行并跟踪计划引擎的逻辑任务规划。

进一步的，所述查询引擎包括将调度引擎执行的逻辑任务规划转化为对应的物理计划，基于该物理计划进行相应的资源配置，控制物理计划的执行，并将执行结果返回上一层级。

进一步的，构建多个并行的时序引擎包括基于用户的一个请求构建多个相同的时序引擎以及基于用户的多个请求构建多个不同的时序引擎，并对该多个不同的时序引擎进行顺序编码。

进一步的，所述分布式数据库为预先基于相近语义构建的多个数据库，获取分布式数据库的个数为获取包含有效数据的数据库个数。

进一步的，所述分布式存储引擎包括交叉互联式混合存储、分布式文件系统存储管理以及动态读写调度管理。

进一步的，所述分布式存储引擎还包括组合数据压缩算法、自适应数据整理以及数据更新算法。

有益效果：

1.通过构建时序引擎，对分布式数据库进行并行且顺序查找存储节点位置，从而实现大规模、有序的数据查找，在保证查找全面性的同时，提高数据库的查找效率。

2.通过在前台引擎中添加对用户的身份认证步骤，有效降低数据库的资源浪费，通过对重复提交的数据请求进行去重，降低用户的请求发送重复等误操作，减少搜索资源占用，通过前台引擎对已认证的单次请求进行有序分发，实现数据查找的顺序、有效进行。

3.通过计划引擎对用户请求进行初步分类，产生逻辑任务规划，有效降低无序查找的搜索数据量，基于分布式存储特点进行定向规划，最终产生分布式的查询任务规划工作，实现引擎在分布式数据库内的有序查找。