[发明专利]分布式任务调度方法、装置、节点设备和系统

说明书

本申请公开了一种分布式任务调度方法、装置、节点设备和系统，适用于调度集群中的至少一个节点设备，包括：基于任务列表中各个任务的执行状态信息将任务列表中满足任务执行条件的可执行任务存入分布式内存队列中，所述分布式内存队列对所述调度集群中的所有节点设备的权限对等；按照调度策略调度分布式内存队列中的可执行任务。节点设备不存在主从节点角色，每个节点均可以在分布式内存队列中存入和抓取可执行任务。任意节点都能提供提交和调度的服务，在其中一个节点宕机之后，其他节点仍可以进行任务提交和任务调度，可以有效防止调度队列中的状态数据丢失，大大提升任务调度的可靠性。

技术领域

本申请涉及计算机数据处理领域，具体而言，涉及一种分布式任务调度方法、装置、节点设备和系统。

背景技术

随着信息技术的发展，尤其是以互联网为核心的应用深入到人们的日常社会活动和生产中。一个日常手机和网页应用功能，在其背后往往有多个系统支撑。一个简单的页面操作，在其后台往往会被拆分成多个不同类型的小任务，这些任务按照一定顺序关系由不同业务系统协同完成。协调这些不同类型、不同系统的任务按照正确的秩序执行称之为任务调度。

针对上述问题，相关技术中所采用的调度方法通常为先确定一个主节点运行调度进程，通常在进行任务调度时，从任务列表，即任务数据库中读取当前可以执行的任务，加入到主节点的任务调度队列，该任务调度队列中存储有从任务列表中读取的满足执行条件的可执行任务(可执行任务的状态数据)，在对任务执行端(从节点)的资源进行检测后，依据调度策略在任务调度队列中取出可执行任务供任务执行端执行。通常主节点正常的情况下，上述任务调度流程可以有序高效执行，但是如果主节点异常宕机或者出现主从节点切换时，主节点中的当前调度队列中已存在的数据很可能发生丢失，影响任务正常执行，降低了任务调度的可靠性。

因此，如何提高任务调度可靠性成为亟待解决的技术问题。

发明内容

本申请的主要目的在于提供一种分布式任务调度方法、装置、系统和电子设备，以解决如何提高任务调度的可靠性的技术问题。

为了实现上述目的，根据本申请的一个方面，提供了一种分布式任务调度方法，适用于调度集群中的至少一个节点设备，包括：基于任务列表中各个任务的执行状态信息将任务列表中满足任务执行条件的存入分布式内存队列中，所述分布式内存队列对所述调度集群中的所有节点设备的权限对等；按照调度策略调度分布式内存队列中的可执行任务。

可选地，在所述将任务列表中满足任务执行条件的存入分布式内存队列中之前包括：与所述分布式内存队列创建访问连接。

可选地，所述与分布式内存队列创建连接包括：检测所述调度集群中是否存在所述分布式内存队列；如果存在，则与所述分布式内存队列建立访问连接；如果不存在，则创建所述所述分布式内存队列，并与所述调度集群中的节点设备建立访问连。

可选地，所述将任务列表中满足任务执行条件的存入分布式内存队列中包括：以定时扫描或父任务触发的方式查找任务列表中达到可执行条件的任务存入分布式内存队列中。

可选地，所述基于任务列表中各个任务的执行状态信息将任务列表中满足任务执行条件的可执行任务存入分布式内存队列中包括：针对所述的分布式内存队列建立分布式字典，将所述可执行任务的主键信息作为所述分布式内存队列的分布式内存字典的key，将所述可执行任务的状态信息作为所述分布式内存队列的分布式内存字典的value。

可选地，所述状态信息包括任务的执行状态信息，在所述将所述可执行任务加入到分布式任务队列中之后包括：对所述任务列表进行第一更新操作，所述第一更新操作包括更新任务列表中该可执行任务的执行状态信息。