[发明专利]一种分布式作业流任务管理和调度系统及方法

权利要求书

1.一种分布式作业流任务管理和调度系统，其特征在于，包括：数据库节点、主调度节点及子调度节点；

所述数据库节点用于存储作业配置信息，其中，所述作业配置信息包括子调度节点最大作业量、计算平台最大作业量、作业资源消耗量，其中，作业资源消耗量包括作业类型、子调度节点消耗量及计算平台消耗量；

所述主调度节点连接所述数据库节点及子调度节点，用于根据所述作业配置信息及待处理作业队列，生成作业分发信息并将其发送至所述子调度节点，其中，所述作业分发信息包括待处理作业、子调度节点及计算平台关联关系；

所述子调度节点用于根据作业分发信息，启动线程将待处理作业提交至相应计算平台处理，其中，所述待处理作业由计算平台的作业逻辑封装得到。

2.如权利要求1所述的分布式作业流任务管理和调度系统，其特征在于，所述作业配置信息还包括：作业调度频率、作业依赖关系及作业间的触发关系。

3.如权利要求2所述的分布式作业流任务管理和调度系统，其特征在于，根据所述作业配置信息及待处理作业队列，生成作业分发信息并将其发送至所述子调度节点，包括：

根据所述作业调度频率、作业依赖关系、作业间的触发关系，对待处理作业进行筛选；

根据所述子调度节点最大作业量、计算平台最大作业量、子调度节点及计算平台当前作业量，确定子调度节点及计算平台剩余作业量；

根据计算平台剩余资源量、作业资源消耗量、子调度节点及计算平台剩余作业量及待处理作业队列，确定待处理作业、子调度节点及计算平台的关联关系。

4.如权利要求1所述的分布式作业流任务管理和调度系统，其特征在于，所述主调度节点还用于检测待执行作业数量及作业分发结果，若待分配作业数量大于第一预定值或作业分发结果失败，则生成第一告警信息；

所述子调度节点还用于检测作业提交结果，若作业提交失败，则生成第二告警信息。

5.如权利要求4所述的分布式作业流任务管理和调度系统，其特征在于，还包括：

监控节点，其中，监控节点包括Web访问页面接口及移动端APP接口，通过所述Web访问页面接口及所述移动端APP接口使得运维人员查看告警信息及查询作业状态。

6.如权利要求1所述的分布式作业流任务管理和调度系统，其特征在于，还包括：

注册中心，连接所述主调度节点及子调度节点，用于检测待处理作业数量的增长率；

若待处理作业数量的增长率大于第二预定值，则根据待处理作业数量及其增长率，确定主调度节点及子调度节点的增加数量；根据确定出的主调度节点及子调度节点的增加数量，自动配置并启动相应主调度节点及子调度节点；

若待处理作业数量的增长率小于第三预定值，则根据待处理作业数量及其增长率，确定主调度节点及子调度节点的减少数量；根据确定出的主调度节点及子调度节点的减少数量，自动关闭相应主调度节点及子调度节点。

7.如权利要求6所述的分布式作业流任务管理和调度系统，其特征在于，根据待处理作业数量及其增长率，确定主调度节点及子调度节点的增加数量，包括：将待处理作业数量及其增长率输入至第一数量计算模型中，得到主调度节点及子调度节点的增加数量；

根据待处理作业数量及其增长率，确定主调度节点及子调度节点的减少数量，包括：将待处理作业数量及其增长率输入至第二数量计算模型中，得到主调度节点及子调度节点的减少数量；

其中，所述第一数量计算模型及所述第二数量计算模型根据历史记录预先建立。

8.如权利要求1所述的分布式作业流任务管理和调度系统，其特征在于，所述作业配置信息还包括分组信息，所述分组信息包括主调度节点、子调度节点及分组元素的对应关系，所述分组元素用于对待处理作业进行分组。