[发明专利]任务调度方法及装置、节点及存储介质

说明书

本申请公开了一种基于分布式调度模型的任务调度方法及装置、采集进程节点及存储介质，方法包括：当采集进程重启或检测到主节点故障时，采集进程向比自身的PID大的采集进程发送选举消息，若接收到应答消息，则等待接收选举成功消息；若未接收到应答消息，则向其他采集进程发送选举成功消息，采集进程作为主节点；作为主节点的采集进程执行任务分片操作，将任务分片写入本地就绪的工作队列。本申请解决了单点故障的问题。任务窃取方式的任务负载均衡算法，可以基于节点负载实现任务的自适应负载均衡。

技术领域

本申请实施例涉及分布式调度技术，尤其涉及一种基于分布式调度模型的任务调度方法及装置、分布式调度系统中的采集进程节点及计算机存储介质。

背景技术

任务调度系统主要包含程序任务、分布式环境和调度程序等。其中程序任务是用户提交给系统的需要执行的任务，分布式环境是由处理机通过网络连接起来的分布式系统，用于执行用户提交过来的任务，调度系统是系统中最重要的组成部分，用于分发用户任务到分布式环境。而当主节点故障时，重新确定主节点的机制效率低且负载均衡的算法复杂。

发明内容

有鉴于此，本申请实施例提供一种基于分布式调度模型的任务调度方法及装置、分布式调度系统中的采集进程节点及计算机存储介质，能够基于采集进程节点的负载实现任务的自适应负载均衡。

本申请实施例提供一种基于分布式调度模型的任务调度方法，包括：

当采集进程重启或采集进程检测到主节点故障时，采集进程向比自身的进程标识PID大的采集进程发送选举消息，若接收到应答消息，则等待接收选举成功消息；若未接收到应答消息，则向其他采集进程发送选举成功消息，以使得所述采集进程作为主节点；

作为主节点的采集进程执行任务分片操作，将任务分片写入本地就绪的工作队列。

作为一种实现方式，所述方法还包括：

采集进程从本地工作队列获取任务，当获取的任务数目低于设定阈值时，从其他有任务的采集进程中随机选择一采集节点发送窃取任务的请求，当接收到未有任务消息IHAVE NO TASKS时，重新随机选择一采集节点发送窃取任务的请求，当接收到非I HAVE NOTASKS时，接收所选择的采集节点发送的任务，写入本地任务队列并执行。

作为一种实现方式，所述方法还包括：

所述采集进程的PID最大时，向其他的采集进程发送选举成功消息，PID最大的所述采集进程作为主节点。

作为一种实现方式，所述未接收到应答消息，包括：

所述采集进程向比自身的PID大的采集进程发送选举消息后，在超出设定时长内未接收到应答消息。这里，设定时长可以为两倍的最大消息传输时间延迟和最大消息处理延迟之和。

作为一种实现方式，所述采集进程向比自身的PID大的采集进程发送选举消息接收到应答消息后，所述方法还包括：

若等待接收选举成功消息超出设定时长，则所述采集进程重新向比自身的PID大的采集进程发送选举消息，直到在采集进程中确定出主节点。这里，设定时长可以为两倍的最大消息传输时间延迟和最大消息处理延迟之和。

作为一种实现方式，所述方法还包括：

采集进程接收到窃取任务请求后，若当前配置的是动态任务窃取策略，则根据当前存在的窃取任务数量动态确定窃取任务数目，并按所确定的窃取任务数目发送相应任务给发送窃取任务的请求的采集进程；若为静态任务窃取策略，则将设定的窃取任务数目的任务发送给发送窃取任务的请求的采集进程。

本申请实施例还提供一种基于分布式调度模型的任务调度装置，包括：

第一发送单元，用于当采集进程重启或检测到主节点故障时，向比当前采集节点的进程标识PID大的采集进程发送选举消息；