[发明专利]面向大数据处理的分布式调度系统、方法及存储介质

说明书

本发明公开了一种面向大数据处理的分布式调度系统、方法及存储介质，包括调度中心模块，用于负责工作流的依赖配置和作业开发；领导者模块，作为集群中的任务流切分和分配节点，根据依赖关系切分调度中心配置的工作流，将切分出来的具体任务节点发送给追随者节点；追随者模块，用来执行由领导者模块分配的具体计算任务，提交任务结果，保存任务执行日志；协调者模块，用于定时从数据库中取出需要执行的任务，并根据当前所有领导者模块的负载情况，采用Round‑Robin算法进行领导者模块的负载均衡；任务队列模块和元数据模块。本发明考虑到了任务上的依赖，避免了因上游任务的执行时间超时或空跑，导致下游任务出现空跑的现象，有利于整个数据流转。

技术领域

本发明属于大数据计算任务调度技术领域，具体涉及一种面向大数据处理的分布式调度系统、方法及存储介质。

背景技术

随着数据技术的飞速发展，现代企业开始从IT时代走向DT时代，无论选择公有云或自建数据中心，大数据平台已经成为现代企业的基础设施。大数据平台由最开始的单执行引擎MapReduce逐步迭代到MapReduce，Spark，Flink等多执行引擎时代。现在企业在挖掘数据价值的过程中，会产生成千上万的数据计算任务，如何对这些任务进行编排调度，构建错综复杂的计算任务依赖网显得尤为重要。

如专利文献CN107506381A公开的一种大数据分布式调度分析方法、系统装置及存储介质：描述了一种自建的大数据分布式调度与分析系统，其核心功能是实现了对大数据处理技术过程的封装，并自带部分的调度功能，但是并未提出应对大数据场景下错综复杂任务流依赖和编排的方法，并且整个系统存在单点故障，并未考虑高可用容错策略，故会面临如下问题：

（1）任务分发的方式上未考虑到任务上的依赖。一旦上游任务的执行时间超时或空跑，下游任务极有可能会出现空跑现象，不利于整个数据流转过程，加重开发人员的负担。

（2）提交或执行计算任务的服务器存在单点故障，一旦宕机之后，计算任务不会触发，影响计算逻辑。

因此，有必要开发一种面向大数据处理的分布式调度系统、方法及存储介质。

发明内容

为解决以上问题，本发明提供一种面向大数据处理的分布式调度系统、方法及存储介质。

第一方面，本发明所述的一种面向大数据处理的分布式调度系统，包括：

调度中心模块，用于负责工作流的依赖配置和作业开发，通过API接口将配置完成的工作流持久化到关系型数据库的待执行工作流表中；

领导者模块，作为集群中的任务流切分和分配节点，根据依赖关系切分调度中心配置的工作流，将切分出来的具体任务节点发送给追随者节点；

追随者模块，又称执行器，用来执行由领导者模块分配的具体计算任务，提交任务结果，保存任务执行日志；

协调者模块，用于定时从数据库中取出需要执行的任务，并根据当前所有领导者模块的负载情况，采用Round-Robin算法进行领导者模块的负载均衡；

任务队列模块，为一个消息队列，包含工作流topic、任务topic和任务结果topic，用于实现工作流之间的任务依赖；

元数据模块，包括两种数据库，分别为关系型数据库和分布式内存数据库，所述关系型数据库用于持久化存储工作流的执行记录；所述分布式内存数据库用于把工作流相关元数据从关系型数据库中取出，加载到内存中。

第二方面，本发明所述的面向大数据处理的分布式调度方法，采用如本发明所述的面向大数据处理的分布式调度系统，其方法包括以下步骤：

接收对工作流的依赖配置和作业开发，通过API接口将配置完成的工作流持久化到关系型数据库的待执行工作流表中；