[发明专利]一种基于HDFS的分布式关系数据库的调度方法

权利要求书

1.一种基于HDFS的分布式关系数据库的调度方法，其特征在于，基于关系数据库的底层节点，在每一节点处设置调度器；位于节点处的调度器接收到调用方的调用任务后，根据系统内部调度策略对任务进行拆分，将适用于本节点的子任务直接下发至当前处理引擎并基于当前节点数据执行，将不适用本节点的子任务通过处理引擎间的互连调用适用于该子任务的数据，再由当前处理引擎基于调用数据执行子任务获得执行结果，再与本节点数据处理的执行结果汇总，再通过调度器将汇总结果反馈给调用方；

所述内部调度策略，调度器对任务进行子任务拆分时，首先根据本节点当前数据拆分出可执行子任务，直接下发给处理引擎执行，其次将无法根据本节点当前数据执行的任务部分拆分成其他子任务，当前处理引擎接收到其他子任务时，根据跨节点读取效率最大化原则，动态地从包含这部分数据的节点通过网络链路进行数据读取，再基于所读取的数据执行其他子任务。

2.根据权利要求1所述的基于HDFS的分布式关系数据库的调度方法，其特征在于，所述位于节点处的调度器接收调用方的调用任务，通过设置于调度器和调用方之间的用户接口实现。

3.根据权利要求1所述的基于HDFS的分布式关系数据库的调度方法，其特征在于，所述位于节点处的调度器接收调用方的调用任务，通过设置于调度器和调用方之间的分配器实现，所述分配器基于随机或者RoundRobin策略、结合人工指定和各调用方之间的沟通协调机制，对所接收到的调用方的任务进行分配并下发给节点处的调度器。

4.根据权利要求3所述的基于HDFS的分布式关系数据库的调度方法，其特征在于，每个节点处的调度器，判断是否为根据本节点数据拆分出的可执行子任务时，所采用的具体调度策略根据本节点的数据特征进行设定。

5.根据权利要求4所述的基于HDFS的分布式关系数据库的调度方法，其特征在于，所述具体调度策略采用公平共享和/或基于容量的调度策略。

6.根据权利要求1至3任一项所述的基于HDFS的分布式关系数据库的调度方法，其特征在于，所述方法还包括：调度器在执行子任务过程中发生部分节点失效时，尽最大的努力避免已有工作失效，在出现错误节点时，只要数据没有彻底丢失，则在另外的健康点上重新执行失效节点的子任务。

7.根据权利要求1至3任一项所述的基于HDFS的分布式关系数据库的调度方法，其特征在于，所述方法还包括：调度器在执行子任务过程中发生部分节点失效时，所有节点上的子任务一律撤销，然后再根据最新的节点资源情况，重新进行任务的拆分调度，从头执行任务。

8.根据权利要求1所述的基于HDFS的分布式关系数据库的调度方法，其特征在于，所述调度方法包括：

步骤S101，调用方下发任务给节点处的调度器；

步骤S102，节点处的调度器根据调度策略对任务进行拆分，首先拆分出适用于当前节点HDFS数据库的子任务，直接下发给当前节点的处理引擎；

步骤S103，当前处理引擎直接调用当前HDFS节点处的数据执行子任务，获得并反馈执行结果给当前调度器；

步骤S104，节点处的调度器拆分出不适用于当前节点HDFS数据库的子任务，下发给当前处理引擎；

步骤S105，当前处理引擎根据子任务调用其他节点处的数据，并根据所调用的数据执行当前子任务，获得并反馈执行结果给当前调度器：

步骤S106，当前调度器汇总基于当前节点数据的子任务执行结果和基于其他节点数据的子任务执行结果，并将汇总结果反馈给调用方。

9.根据权利要求8所述的基于HDFS的分布式关系数据库的调度方法，其特征在于，所述步骤S101中，当调用方的任务较少时，调用方直接通过用户接口将任务下发至调度器；当任务量较大时，调用方将任务发送给分配器，分配器基于随机或者RoundRobin策略、结合人工指定和各调用方之间的沟通协调机制，将任务下发给节点处的调度器。