[发明专利]一种分布式定时任务调度方法、调度系统及服务器集群有效
申请号: | 202010107644.6 | 申请日: | 2020-02-21 |
公开(公告)号: | CN111338773B | 公开(公告)日: | 2023-06-20 |
发明(设计)人: | 李红 | 申请(专利权)人: | 华云数据有限公司 |
主分类号: | G06F9/48 | 分类号: | G06F9/48;G06F9/54 |
代理公司: | 苏州友佳知识产权代理事务所(普通合伙) 32351 | 代理人: | 储振 |
地址: | 230000 安徽省合肥市高新区*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 定时 任务 调度 方法 系统 服务器 集群 | ||
本发明提供了分布式定时任务调度方法、调度系统及服务器集群,该方法包括在至少两个节点中分别配置独立的流程调度进程、服务调度进程及任务定时器;选定一个节点作为指定节点以响应定时任务,将定时任务下发至消息队列中,在剩余节点选定至少一个节点与消息队列之间建立监听;流程调度进程根据任务定时器所设定的时限确定是否由消息队列基于重试机制重新选定新的指定节点,并由消息队列所选定节点中的服务调度进程对定时任务予以响应。通过本发明,有效地解决了定时任务在调度过程中对资源依赖过高的缺陷,以实现对定时任务调度的一致性,克服了定时任务在调度过程中的由于节点故障所导致的无法有效响应定时任务的缺陷。
技术领域
本发明涉及计算机技术领域,尤其涉及一种分布式定时任务调度方法、调度系统及服务器集群。
背景技术
云平台、服务器集群配置环境中运行一个或者多个项目工程(Project),该等项目工程需要配置定时任务(Task)。基于大规模的云平台、服务器集群配置环境中,存在诸多项目以及单个项目中所包含的多个任务的情形,需要对任务,例如,订单系统的超时状态判断、缓存数据的定时更新、定时给用户发邮件,甚至是一些定期计算的报表等。为保证高可用、高容错性,大规模的云平台或者服务器集群通常采用分布式架构,因此分布式定时任务应运而生。
目前,比较主流的分布式定时任务调度的技术路线是基于Quartz框架。Quartz在实现分布式任务调度时,将多个节点任务存放至数据库中。当任务被执行时,Quartz从数据库中调用触发器来执行任务,若触发器的名称和执行时间相同,则只从一个节点去执行此任务。如果该节点执行任务失败,则该任务会被分配至另一个节点中执行,从而实现分布式任务调度。同时,在现有技术中为了解决云平台、服务器集群高可用性的问题,还可采用Zookeeper以实现数据分片,从而保证数据不会被重复处理,并提升数据处理速度。这在金融行业、移动支付等领域中具有举足轻重的作用。
然而,采用Zookeeper的技术路线会对数据库造成非常大的压力,且数据库存在宕机的风险;而在采用Quartz的技术路线中由于对数据库的依赖较强,且数据库部署较为复杂;尤其的,采用Quartz框架实现分布式定时任务调度时对资源的占用过重,且无法保证任务调度过程中的唯一性,而现有技术中单单采用分布式数据库的技术手段又会对分布式数据库造成计算开销及计算压力。
有鉴于此,有必要对现有技术中的分布式定时任务调度方法及相关类似技术方案予以改进,以解决上述问题。
发明内容
本发明的目的在于揭示的一种分布式定时任务调度方法、调度系统及服务器集群,用以克服现有技术中所存在的缺陷,尤其是为了解决定时任务在调度过程中对资源依赖过高的缺陷;同时,本申请旨在提高运行该定时任务的节点的容错性,并降低定时任务调度的难度,以实现任务调度的一致性。
为实现上述第一个发明目的,本发明首先提供了一种分布式定时任务调度方法,包括:
在至少两个节点中分别配置独立的流程调度进程、服务调度进程及任务定时器;
选定一个节点作为指定节点以响应定时任务,将定时任务下发至消息队列中,在剩余节点选定至少一个节点与消息队列之间建立监听;
流程调度进程根据任务定时器所设定的时限确定是否由消息队列基于重试机制重新选定新的指定节点,并由消息队列所选定节点中的服务调度进程对定时任务予以响应。
作为发明的进一步改进,在定时任务下发至消息队列中,在所有节点与消息队列之间建立监听,流程调度进程根据任务定时器所设定的时限确定是否由消息队列基于轮询机制重新选定新的指定节点,以由所述新的指定节点所包含的服务调度进程对定时任务予以响应。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华云数据有限公司,未经华云数据有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010107644.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:一种应用于区块链的数据存储与获取方法及装置
- 下一篇:智能卡及其制造方法