[发明专利]面向大数据处理的分布式调度系统、方法及存储介质

权利要求书

1.一种面向大数据处理的分布式调度系统，其特征在于，包括：

调度中心模块，用于负责工作流的依赖配置和作业开发，通过API接口将配置完成的工作流持久化到关系型数据库的待执行工作流表中；

领导者模块，作为集群中的任务流切分和分配节点，根据依赖关系切分调度中心配置的工作流，将切分出来的具体任务节点发送给追随者节点；

追随者模块，又称执行器，用来执行由领导者模块分配的具体计算任务，提交任务结果，保存任务执行日志；

协调者模块，用于定时从数据库中取出需要执行的任务，并根据当前所有领导者模块的负载情况，采用Round-Robin算法进行领导者模块的负载均衡；

任务队列模块，为一个消息队列，包含工作流topic、任务topic和任务结果topic，用于实现工作流之间的任务依赖；

元数据模块，包括两种数据库，分别为关系型数据库和分布式内存数据库，所述关系型数据库用于持久化存储工作流的执行记录；所述分布式内存数据库用于把工作流相关元数据从关系型数据库中取出，加载到内存中。

2.一种面向大数据处理的分布式调度方法，其特征在于，采用如权利要求1所述的面向大数据处理的分布式调度系统，其方法包括以下步骤：

接收对工作流的依赖配置和作业开发，通过API接口将配置完成的工作流持久化到关系型数据库的待执行工作流表中；

根据依赖关系切分调度中心配置的工作流，将切分出来的具体任务节点发送给追随者节点；

用来执行由领导者模块分配的具体计算任务，提交任务结果，保存任务执行日志；

用于定时从数据库中取出需要执行的任务，并根据当前所有领导者模块的负载情况，采用Round-Robin算法进行领导者模块的负载均衡。

3.根据权利要求2所述的面向大数据处理的分布式调度方法，其特征在于：协调者服务定时扫描关系型数据库中的待执行工作流表获取待执行命令，并向ZooKeeper定时请求Leader集群的负载信息，采用Round-Robin算法根据当前每台Leader机器的CPU和内存余量将工作流分配给对应的Leader；最终，将打上Leader标签的工作流发送给消息队列中的process_instance主题，等待Leader消费该topic进行工作流执行。

4.根据权利要求3所述的面向大数据处理的分布式调度方法，其特征在于：Leader消费消息队列中的process_instance主题，根据消息中的Leader_host_name字段判断是否需要执行工作流；如果需要执行工作流，则按照工作流的依赖关系将工作流切分成若干个计算任务，并估算每个计算任务需要的计算资源；从ZooKeeper集群中获取Follower集群每台机器的负载信息，采用Round-Robin算法进行执行器获取任务的负载均衡；将切分之后独立的计算任务加上对应的执行器Follower_host_name信息，并发送到消息队列中的task_instance主题；在挂起工作流执行线程的过程中，Leader会消费Follower通过消息队列返回的task_instance_result主题中的数据，对工作流的执行结果进行更新；待整个工作流的执行状态都变为最终状态的情况下，将工作流执行结果状态持久化到关系型数据库中。

5.根据权利要求4所述的面向大数据处理的分布式调度方法，其特征在于：Follower消费消息队列中的task_instance主题的数据，根据Follower_host_name匹配对应的执行器进行执行，任务执行完成后，将任务的执行结果写回消息队列中的task_instance_result主题中，等待Leader消费任务执行结果，在Leader将执行完成的任务结果写回关系型数据库后，整个任务流执行完成。