[发明专利]一种面向信创领域高效可靠的分布式任务调度方法及系统

说明书

本发明公开了一种面向信创领域高效可靠的分布式任务调度方法及系统。本系统包括多个主从选举器构成的选举器集群，多个任务执行器构成的任务执行器集群；其中，所述选举器集群，用于对该任务执行器集群中的任务执行器进行选举，选举出一个任务执行器作为调度执行器，其余任务执行器作为工作执行器；所述调度执行器，用于从业务系统定时获取任务列表，然后进行任务拆分、任务下发，以及监控工作执行器的状态；所述工作执行器，用于根据收到的任务在该业务系统中执行对应的业务逻辑处理，并将处理结果返回为所述调度执行器。本发明具有保障机制完备、可靠性高，任务分片高效，任务并行执行效率高，业务系统接口简单易于接入。

技术领域

本发明属于分布式集群场景下的任务调度技术领域，特别涉及一种可简单接入的高效可靠的分布式任务调度方法及系统。

背景技术

目前随着分布式解决方案需求不断增加，具体到信创领域，需要分布式集群快速、高效、可靠地处理大量任务，赋能各种业务场景。现有的调度方案要么架构复杂接入成本高，要么可靠性不高。因此研究一种面向信创领域简单高效可靠的分布式任务调度方法及系统是必要的。

发明内容

为了克服现有的调度方法及系统可靠度不高、不高效，接入不够简单的不足,本发明提供一种简单、高效、可靠的任务调度方法。进一步地提供一种可简单接入的任务调度系统方案。

为实现上述目的，本发明提供如下技术方案：

一种面向信创领域高效可靠的分布式任务调度方法，其步骤包括：

1)设置多个任务执行器构成一个任务执行器集群，设置多个主从选举器；

2)利用各所述主从选举器对该任务执行器集群中的任务执行器进行选举，选举出一个任务执行器作为调度执行器，其余任务执行器作为工作执行器；所述调度执行器，用于定时获取任务列表、任务拆分、任务下发、工作执行器状态监控；所述工作执行器用于执行收到的任务；

3)调度执行器从业务系统定时获取任务列表，再通过分片算法将任务分片之后将任务下发给工作执行器，工作执行器根据收到的任务在该业务系统中执行对应的业务逻辑处理，并将处理结果返回为所述调度执行器；当调度执行器失效时，通过各所述主从选举器重新选举产生新的调度执行器；当工作执行器失效时，根据任务下发方式执行对应的策略保障任务不丢失：a)如果任务下发方式为一致性协议算法，每个工作执行器由主从选举器提供存储区，当工作执行器故障时，调度执行器从出现故障的工作执行器对应的存储区回收故障工作执行器的任务，进行任务重新派发；b)如果任务下发方式为消息队列，根据消息队列提供的未消费队列的超时重试机制进行任务重新派发。

进一步的，所述任务执行器中包括一任务设置数据模型，其包括分配给工作执行器的最小任务数量、任务分片方法、工作执行器执行任务线程数量、主从选举器访问地址和任务下发方式。

进一步的，所述任务分片方法包括水平分片方法、循环分片方法和整体分片方法。

进一步的，所述水平分片方法为：首先根据任务执行器的数量确定分组数，然后将任务按照分组数与每个分组最少任务数，将任务连续地分配到一个分组后再进行下一个分组分配任务，直至任务分配完毕。

进一步的，所述循环分片方法为：首先根据任务执行器的数量确定分组数，然后将任务按照分组数与每组最少任务数的要求，将任务循环地在分组之间分配。

进一步的，所述整体分片方法为：将所有任务放在一个分组。

进一步的，所述调度执行器中设置有initJob接口、afterSharding接口；其中，initJob接口包括入口参数nodeNumber，用于设置工作执行器数量；afterSharding接口用于对成功分片的任务进行业务状态处理。