[发明专利]一种基于大数据技术的分布式任务调度方法

权利要求书

1.一种基于大数据技术的分布式任务调度方法，其特征在于，包括如下步骤：

S1、根据任务处理需求，将独立运行的程序包或HTTP接口进行注册；

S2、创建任务节点，配置任务节点信息，将所有创建的任务节点串联起来形成待执行任务的工作流程；

S3、将配置好的工作流程的详细信息注册到数据库中，工作流程的简要信息注册到分布式服务框架中；

S4、初始化任务调度节点，注册并启动任务调度节点，任务调度节点定时扫描分布式服务框架中的数据，如有待执行任务，则将待执行任务下发给未发生负载情况的任务执行节点；

S5、初始化任务执行节点，注册并启动任务执行节点，注册好的任务执行节点处于等待状态，持续接收任务调度节点下发待执行任务并执行该待执行任务；

S6、任务执行节点执行完该待执行任务后，将执行情况上报给任务调度节点，任务调度节点根据任务执行节点反馈的执行情况进行状态展示。

2.根据权利要求1所述的一种基于大数据技术的分布式任务调度方法，其特征在于：所述步骤S1中，注册的对象为程序包，则填写程序运行的主类和运行参数，注册对象是HTTP接口，则填写HTTP接口的地址路径和调用类型。

3.根据权利要求1所述的一种基于大数据技术的分布式任务调度方法，其特征在于：所述步骤S4中，初始化任务调度端的Netty远程调用环境，启动任务调度节点的Netty远程调用服务。

4.根据权利要求3所述的一种基于大数据技术的分布式任务调度方法，其特征在于：所述步骤S4中，任务调度节点读取待执行任务的过程包括：

S41、任务调度节点启动分布式锁，从分布式服务框架数据目录中读取待执行任务的简要信息，并利用分布式锁将该数据目录锁定；

S42、得到分布式锁的任务调度节点从分布式服务框架中读取待执行任务的简要信息；

S43、得到分布式锁的任务调度节点根据简要信息从数据库中读取待执行任务的详细信息；

S44、将读取完成的待执行任务从分布式服务框架数据目录中删除，并释放该任务调度的分布式锁。

5.根据权利要求4所述的一种基于大数据技术的分布式任务调度方法，其特征在于：所述步骤S41中，该任务调度节点从分布式服务框架读取的数据目录被分布式服务框架中其他任务调度节点锁住，则所述其他任务调度节点等待该分布式锁的释放。

6.根据权利要求5所述的一种基于大数据技术的分布式任务调度方法，其特征在于：所述步骤S4中，任务调度节点下发待执行任务的过程包括：

S441、任务调度节点配置任务执行相关内容；

S442、任务调度节点从分布式服务框架读取可执行任务的任务执行节点列表并判断工作状态；

S443、任务调度节点通过Rpc的形式，将待执行任务下发给未发生负载情况的任务执行节点。

7.根据权利要求1所述的一种基于大数据技术的分布式任务调度方法，其特征在于：所述步骤S6中，初始化任务执行端的Netty远程调用环境，启动任务执行节点的Netty远程调用服务。