[发明专利]任务调度方法及装置、节点及存储介质

权利要求书

1.一种基于分布式调度模型的任务调度方法，其特征在于，所述方法包括：

当采集进程重启或采集进程检测到主节点故障时，所述采集进程向比自身的进程标识大的采集进程发送选举消息，若接收到应答消息，则等待接收选举成功消息；若未接收到应答消息，则向其他采集进程发送选举成功消息，以使得所述采集进程作为主节点；

作为主节点的采集进程执行任务分片操作，将任务分片写入本地就绪的工作队列。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集进程从本地工作队列获取任务，当获取的任务数目低于设定阈值时，从其他有任务的采集进程中随机选择一采集节点发送窃取任务请求，当接收到未有任务消息时，重新随机选择一采集节点发送窃取任务的请求，当接收到非未有任务消息时，接收所选择的采集节点发送的任务，写入本地任务队列并执行。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集进程的进程标识最大时，向其他的采集进程发送选举成功消息，进程标识最大的所述采集进程作为主节点。

4.根据权利要求1所述的方法，其特征在于，所述采集进程接收到应答消息后，所述方法还包括：

若等待接收选举成功消息超出设定时长，则采集进程重新向比自身的进程标识大的采集进程发送选举消息，直到在采集进程中确定出主节点。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

采集进程接收到窃取任务请求后，若当前配置的是动态任务窃取策略，则根据当前存在的窃取任务数量动态确定窃取任务数目，并按所确定的窃取任务数目发送相应任务给发送窃取任务的请求的采集进程；若为静态任务窃取策略，则将设定的窃取任务数目的任务发送给发送窃取任务的请求的采集进程。

6.一种基于分布式调度模型的任务调度装置，其特征在于，所述装置包括：

第一发送单元，用于当采集进程重启或检测到主节点故障时，向比当前采集节点的进程标识大的采集进程发送选举消息；

第一接收单元，用于接收应答消息，若接收到应答消息，则等待接收选举成功消息；若未接收到应答消息，则触发所述第一发送单元向其他采集进程发送选举成功消息，将当前的采集进程作为主节点；

执行单元，用于执行任务分片操作，将任务分片写入本地就绪的工作队列。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

获取单元，用于从本地工作队列获取任务，当获取的任务数目低于设定阈值时，触发第二发送单元；

第二发送单元，用于从其他有任务的采集进程中随机选择一采集节点发送窃取任务的请求；

第二接收单元，用于接收到未有任务消息时，触发所述第二发送单元重新随机选择一采集节点发送窃取任务的请求；当接收到非未有任务消息时，接收所选择的采集节点发送的任务，触发所述执行单元写入本地任务队列并执行。

8.根据权利要求6所述的装置，其特征在于，所述第一发送单元，用于在当前的采集进程的进程标识最大时，向其他的采集进程发送选举成功消息，将当前进程标识最大的采集进程作为主节点。

9.根据权利要求6所述的装置，其特征在于，所述第一接收单元还用于，若等待接收选举成功消息超出设定时长，则触发所述第一发送单元重新向比当前自身采集进程的进程标识大的采集进程发送选举消息，直到在采集进程中确定出主节点。

10.根据权利要求6所述的装置，其特征在于，所述装置还包括：

第三接收单元，用于接收窃取任务的请求，触发确定单元；

确定单元，用于在当前配置的是动态任务窃取策略时，根据当前存在的窃取任务数量动态确定窃取任务数目；；在为静态任务窃取策略时，则将设定的窃取任务数目确定为窃取任务数目；

第三发送单元，用于按所确定的窃取任务数目发送相应任务给发送窃取任务的请求的采集进程。