[发明专利]一种基于大数据技术的分布式任务调度方法

说明书

本发明涉及数据处理领域，具体是一种基于大数据技术的分布式任务调度方法，包括如下步骤：S1、程序包或HTTP接口进行注册；S2、将所有创建的任务节点串联起来形成待执行任务的工作流程；S3、将配置好的工作流程注册到数据库或分布式服务框架中；S4、初始化、注册并启动任务调度节点，任务调度节点将待执行任务下发给未发生负载情况任务执行节点；S5、初始化、注册并启动任务执行节点，任务执行节点持续接收待执行任务并执行；S6、任务执行节点执行完该待执行任务后，将执行情况上报给任务调度节点；解决了任务调度没有补偿机制、宕机时，剩余待调度任务无法执行、对大数据相关程度调度支持性低以及度的任务过多时，任务运行效率会明显下降的问题。

技术领域

本发明涉及数据处理领域，具体是指一种基于大数据技术的分布式任务调度方法。

背景技术

任务调度系统在数据平台中是非常核心的功能模块。在日常的数据处理中，定时运行业务时需要对任务进行相关的调度配置，让其在设定的时间定时的运行任务，比如定时从数据库将新增数据导入到数据平台，将数据平台处理后的数据导出到数据库或者是文件系统，随着大数据行业的逐渐发展，在实际的生产环境中会存在多种类型的任务调度需求，传统的任务调度系统目前无法完全支持，其存在的弊端如下：

1)传统的任务调度没有补偿机制

如果调度的任务在执行期间出现异常后，没有任务自动补偿机制，需要人工干预，让任务重新运行。

2)传统的任务调度系统不支持集群模式

传统的任务调度系统属于单机模式，存在单点故障，如果调度系统出现异常后，所有还未运行的待调度任务都无法正常运行。

3)传统的任务调度系统对大数据生态圈支持性不好

传统的任务调度系统可以调用大部分常规的单机程序，但是对MapReduce、Spark、Fl ink等大数据计算程序支持性不好，需要用其他程序进行封装之后才可调度。

4)同时调度的任务过多时，任务运行效率会明显下降

传统的任务调度系统在配置了很多调度任务后，当同时有大量待调度任务需执行时，任务的运行效率将大幅下降。

发明内容

基于以上问题，本发明提供了一种基于大数据技术的分布式任务调度方法，利用分布式运行调度方法，解决了任务调度没有补偿机制、宕机时，剩余的待调度任务无法执行、对大数据相关程度调度支持性低以及度的任务过多时，任务运行效率会明显下降的问题。

为解决以上技术问题，本发明采用的技术方案如下：

一种基于大数据技术的分布式任务调度方法，包括如下步骤：

S1、根据任务处理需求，将独立运行的程序包或HTTP接口进行注册；

S2、创建任务节点，配置任务节点信息，将所有创建的任务节点串联起来形成待执行任务的工作流程；

S3、将配置好的工作流程的详细信息注册到数据库中，工作流程的简要信息注册到分布式服务框架中；

S4、初始化任务调度节点，注册并启动任务调度节点，任务调度节点定时扫描分布式服务框架中的数据，如有待执行任务，则将待执行任务下发给未发生负载情况的任务执行节点；

S5、初始化任务执行节点，注册并启动任务执行节点，注册好的任务执行节点处于等待状态，持续接收任务调度节点下发待执行任务并执行该待执行任务；

S6、任务执行节点执行完该待执行任务后，将执行情况上报给任务调度节点，任务调度节点根据任务执行节点反馈的执行情况进行状态展示。