[发明专利]分布式任务调度方法及装置、电子设备及可读存储介质

说明书

本发明实施例提供一种分布式任务调度方法及装置、电子设备及可读存储介质。该方法包括：主节点接收多个任务执行节点以预设频率发送的任务拉取请求，主节点根据接收到的任务拉取请求分配任务给目标任务执行节点，目标任务执行节点为多个任务执行节点中的一个任务执行节点，主节点接收目标任务执行节点在执行所分配的任务后发送的任务执行结果，在感知到目标任务执行节点出现故障时将目标任务执行节点的执行中任务队列转移到其它存活的任务执行节点。从而可避免单点故障，提高系统的稳定性和可用性。

技术领域

本发明实施例涉及分布式调度技术领域，尤其涉及一种分布式任务调度方法及装置、电子设备及可读存储介质。

背景技术

在业务系统中，一般会使用后台任务去周期性地处理一些批量作业(任务)，以提升用户体验和增加系统的可扩展性，因此分布式任务调度得到广泛的应用。

现有技术中常用Quartz作为分布式任务调度框架，Quartz有两种使用方式：一种是将任务集成到业务系统中，周期性或定时地执行某个事先配置好的任务，任务详情、触发时间等信息存储在本机内存中，同一时刻只有一个节点在执行任务，从而实现分布式任务调度，该方式存在单点故障、不支持故障转移等缺点。另一种是Quartz的集群化部署，多个任务详情被存储在数据库或其他分布式存储系统中，由所有的Quartz任务进程(也称节点)共享，该方式下系统可用性不高，所有Quartz节点间通过共享数据库进行通信，在遇到网络故障时，每个Quartz节点都认为其他Quartz节点为离线状态，从而成为主节点来接管整个系统，因此会出现“脑裂”现象。

发明内容

本发明实施例提供一种分布式任务调度方法及装置、电子设备及可读存储介质，避免出现单点故障，提高系统的稳定性和可用性。

第一方面，本发明实施例提供一种分布式任务调度方法，包括：

主节点接收多个任务执行节点以预设频率发送的任务拉取请求，所述主节点为Zookeeper集群在多个任务调度节点和所述多个任务执行节点均注册到Zookeeper集群上之后，按照预设规则从所述多个任务调度节点中选择的一个任务调度节点；

所述主节点根据接收到的任务拉取请求分配任务给目标任务执行节点，所述目标任务执行节点为所述多个任务执行节点中的一个任务执行节点；

所述主节点接收所述目标任务执行节点在执行所分配的任务后发送的任务执行结果，在感知到所述目标任务执行节点出现故障时将所述目标任务执行节点的执行中任务队列转移到其它存活的任务执行节点。

可选的，所述预设规则为：将时序编号最小的任务调度节点作为主节点；在当前主节点宕机时，将剩余任务调度节点中时序编号最小的任务调度节点作为新的主节点。

可选的，所述方法还包括：

所述主节点在所述任务执行结果为失败时，根据所述任务配置信息确定是否可进行任务重试；

所述主节点若确定可进行任务重试，则根据所述任务配置信息中的可重试次数进行任务重试；

所述主节点若确定不可进行任务重试或剩余可重试次数为0时，确定当前任务执行失败。

可选的，所述方法还包括：

所述主节点在确定当前任务执行失败时调用任务调度系统基础服务模块进行报警。

第二方面，本发明实施例提供一种分布式任务调度装置，所述分布式任务调度装置为Zookeeper集群在多个任务调度节点和多个任务执行节点均注册到Zookeeper集群上之后，按照预设规则从所述多个任务调度节点中选择的一个任务调度节点，所述分布式任务调度装置包括：

接收模块，用于接收所述多个任务执行节点以预设频率发送的任务拉取请求；