[发明专利]一种集中式作业调度系统、装置、电子设备及计算机可读存储介质在审
申请号: | 202110333937.0 | 申请日: | 2021-03-29 |
公开(公告)号: | CN112860413A | 公开(公告)日: | 2021-05-28 |
发明(设计)人: | 邓润;周巍;张洋 | 申请(专利权)人: | 中信银行股份有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/50 |
代理公司: | 北京市兰台律师事务所 11354 | 代理人: | 李浩;张峰 |
地址: | 100020 北京市朝阳区光*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 集中 作业 调度 系统 装置 电子设备 计算机 可读 存储 介质 | ||
1.一种集中式作业调度系统,其特征在于,包括:
前端访问层,其用于从用户接收针对作业的请求;
作业执行层,其包括至少一个执行节点并且用于执行所述作业中的本地作业;
作业调度层,其包括调度主节点和至少一个调度从节点,并且所述调度主节点用于根据调度算法向所述至少一个执行节点派发所述作业;以及
集群模块,其用于在所述调度主节点发生故障时,从所述至少一个调度从节点中重新确定调度主节点。
2.根据权利要求1所述的集中式作业调度系统,其特征在于,
所述调度主节点和所述至少一个调度从节点向所述集群模块更新作业状态,并且从所述集群模块获取调度所需的作业状态。
3.根据权利要求2所述的集中式作业调度系统,其特征在于,
所述作业状态包括作业信息、作业依赖的脚本和/或作业依赖的资源。
4.根据权利要求1所述的集中式作业调度系统,其特征在于,还包括:注册中心,其用于使得所述调度主节点、所述至少一个调度从节点交替提供服务。
5.根据权利要求2所述的集中式作业调度系统,其特征在于,
所述至少一个执行节点进一步是至少两个执行节点。
6.根据权利要求5所述的集中式作业调度系统,其特征在于,
所述至少两个执行节点向所述集群模块更新作业状态,并且从所述集群模块获取调度所需的作业状态。
7.根据权利要求6所述的集中式作业调度系统,其特征在于,
当执行节点之一上的作业资源依赖不存在或者所述执行节点之一上的作业资源依赖与所述集群模块上的作业资源依赖不一致,则将所述执行节点之一上的作业资源依赖更新为所述集群模块上的作业资源依赖。
8.根据权利要求1所述的集中式作业调度系统,其特征在于,
所述作业执行层还用于将所述作业中的大数据作业提交至所述集群模块,以及
所述集群模块还用于执行从所述作业执行层接收的所述大数据作业。
9.一种集中式作业调度方法,其特征在于,包括:
调度主节点根据调度算法向执行节点派发作业;
所述执行节点执行所述调度主节点所派发的作业中的本地作业;
集群模块在所述调度主节点发生故障时,从调度从节点中重新确定调度主节点;以及
所述调度主节点、所述调度从节点、所述执行节点向所述集群模块更新作业状态,并且从所述集群模块获取所需的作业状态。
10.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于:执行根据权利要求9所述的集中式作业调度方法。
11.一种计算机可读存储介质,其特征在于,所述计算机存储介质用于存储计算机指令,当其在计算机上运行时,使得计算机可以执行上述权利要求9所述的集中式作业调度方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中信银行股份有限公司,未经中信银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110333937.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:数据库操作语句的处理方法、装置及电子设备
- 下一篇:一种资金管理方法和装置