[发明专利]一种大数据平台去中心化的调度和执行方法、装置

权利要求书

1.一种大数据平台去中心化的调度和执行方法，适用于分布式大数据平台，其特征在于：包括以下步骤：

步骤1：触发器Trigger使用Quartz时钟表达式对任一任务进行自动触发，开始任务进程；

步骤2：触发器Trigger管理模块定时将MySQL库中持久化且Quartz时钟表达式为合法的触发器Trigger实例信息写入ZooKeeper集群，每个触发器Trigger实例占用一个ZNode节点；

步骤3：若干个调度触发模块以进程为单位分布在ZooKeeper集群中同时运行，且彼此地位相同；

步骤4：调度触发模块从ZooKeeper集群中遍历每一触发器Trigger定义的ZNode节点，并通过ZooKeeper提供的分布式锁进行操作；

步骤5：各个调度触发模块进程按照步骤4，将ZooKeeper集群中的所有触发任务依次予以启动；任一调度触发模块宕机后，当前调度模块所写在ZooKeeper集群中的临时ZNode自动失效，释放其所在Trigger定义的控制权；被释放的触发器Trigger定义，被剩余的各调度触发模块依次予以Quartz服务实例化启动；

步骤6：调度触发模块将被调度大数据计算任务的META信息写入ZooKeeper集群；

步骤7：任务执行模块以进程为单位，分布在ZooKeeper集群多个ZNode节点中运行，且彼此间地位相同；

步骤8：任务执行模块以计算任务的子过程为单位，从ZooKeeper的ZNode树上进行依次遍历；当发现某个子过程具备执行条件时，在该任务的ZNode节点下添加临时节点以锁定该任务；

步骤9：从计算任务当前子过程的上下文中获取任务信息，执行该任务，并将任务的子过程执行结果和状态信息写入MySQL的任务历史；同时任务执行模块需要同步等待该任务子过程的执行直到完成或者异常退出；

步骤10：对于已经完成的任务子过程或异常退出，任务执行模块释放对于该任务ZNode节点的锁定，并且判断该子过程是否整个任务的最后一个子过程；如是则从ZooKeeper树中删除该任务的ZNode节点，表示该任务实例已经完成或失败执行；

步骤11：用户打开任务监控模块的前端UI，通过WebSocket协议建立后端WEB模块的连接；所述WEB模块中通过ZooKeeper的Watcher监听器，实时掌控ZooKeeper树中记录的所有任务的配置和状态信息，通过WebSocket双向通信协议主动广播推送到用户前端UI。

2.根据权利要求1所述的一种大数据平台去中心化的调度和执行方法，其特征在于：在步骤4中，若ZNode节点尚未建立Quartz服务，则根据时钟表达式和任务参数创建Quartz服务实例，并且将所述服务实例的信息以临时ZNode的形式配置再该ZNode之下；操作完成后再次进入遍历Trigger ZNode的操作。

3.根据权利要求1所述的一种大数据平台去中心化的调度和执行方法，其特征在于：所述触发器实例的定义由触发器管理模块在MySQL中进行持久化。

4.根据权利要求1所述的一种大数据平台去中心化的调度和执行方法，其特征在于：在步骤6中，调度触发模块将被调度大数据计算任务的执行状态、任务启动时间和下一个子过程ID动态信息写入ZooKeeper集群。

5.根据权利要求1所述的一种大数据平台去中心化的调度和执行方法，其特征在于：在步骤8中，子过程执行上下文信息存储在ZooKeeper树上。

6.根据权利要求1所述的一种大数据平台去中心化的调度和执行方法，其特征在于：在步骤9中，任务信息包括指定某个Spark任务或者一段SQL或者Scala或者Python脚本。