[发明专利]一种任务调度方法、系统、计算装置及可读存储介质

说明书

本发明公开了一种任务调度方法，在任务调度系统中执行，该方法包括，接收待处理的任务，任务包含执行器、执行时间、任务标识，根据任务标识将任务与执行器关联的存储到任务队列，调度器每隔一定时间从对应的任务队列中获取一定时间内的任务，并根据执行时间插入时间轮容器，调度器每隔第二预定时间获取时间轮容器中当前时刻的任务，并插入该任务关联的执行器的任务执行器队列中，该任务执行器队列由协调服务器创建，执行器从中获取任务进行处理，并将任务执行结果加入由协调服务器创建的任务结果队列中，调度器从中获取任务执行结果存储到数据存储装置中，本发明一并公开了相应的任务调度系统、计算设备及可读存储介质。

技术领域

本发明涉及数据处理领域，尤其涉及一种任务调度方法、系统、计算设备及可读存储介质。

背景技术

任务调度在业务系统中极为常见，业务多样化衍生出不同的业务系统，这就需要一种统一的任务调度系统来管理各部门业务的任务调度工作，且保证各部门业务正常运行。

任务调度的实现方式很多，常见的技术有quartz、spring task、timer等，但都适于单机调度，不适合在集群环境中分布式部署，为解决这一问题，衍生出来很多的开源框架，典型代表是基于quartz框架进行二次开发xxl-job，该方法在在商家平台的初期阶段，因为业务系统中任务数据量小，业务的系统执行器也少，应用场景简单，在集群环境调度机器中，所有任务调度由其中一台机器触发，通过远程RPC形式调用执行器，任务调度简单快速有效。但这种方式不适合应用在任务万级以上场景中，基于quartz框架，底层以“抢占式”获取DB锁，由抢占成功节点负责调度所有任务，这导致节点负载悬殊较大，因为任务数量较大，抢占成功的节点在规定的时间不能处理完，使一些任务无法按规定时间调度，同时，任务数量较多时因为执行器一直通过远程RPC调用调度系统，加上过多任务不能执行完，以及后续的执行器远程RPC反馈结果，导致调度系统负载过高，最终会导致调度系统瘫痪。

后来发展成为把所有的任务都加入到抢占机器的内存线程池中，由线程池开启新线程远程RPC调用业务执行器，执行器接收到调度指令，把任务指令全部放在内存线程池中，再由线程池开启新线程执行任务，待任务执行完成之后，把任务执行结果加入内存线程池中，再由线程池开启新线程，远程RPC调用调度系统告知最终执行结果，该方案的主要缺点是任务丢失问题，由于调度任务都加入到抢占调度节点成功机器内存线程池中，如果任务没有执行完成，由于某种原因导致调度实例阻塞，无法告知执行器，后续接收到所有的任务指令和任务执行结果，也全部加入当前机器内存线程池中，如果执行器阻塞，会导致所有未执行任务无法执行，以及执行的任务无法反馈结果，导致调度系统后续的重试以及错误告警等。

发明内容

为此，本发明提供了一种任务调度方法、系统、计算设备及可读存储介质，以力图解决或者至少缓解上面存在的问题。

根据本发明的一个方面，提供了一种任务调度方法，适于在任务调度系统中执行，任务调度系统包括多个调度器，多个执行器，协调服务器和数据存储装置，数据存储装置包括预定数量个任务队列，该方法包括，接收待处理的任务，任务包含执行器、执行时间、任务标识，根据任务标识将任务与执行器关联的存储到任务队列中；调度器每隔第一预定时间从对应的任务队列中获取第一预定时间内的任务，并根据执行时间插入时间轮容器；调度器每隔第二预定时间获取时间轮容器中当前时刻的任务，并将获取的任务插入该任务关联的执行器的任务执行器队列中，任务执行器队列由协调服务器创建；执行器从任务执行器队列中获取任务进行处理，并将任务执行结果加入任务结果队列中，任务结果队列由协调服务器创建；调度器获取任务结果队列中的任务执行结果，并存储到数据存储装置中。

可选地，在根据本发明的任务调度方法中，还包括：当有调度器发生故障时，数据存储装置中的预定数量个任务队列重新分配到剩余的非故障调度器上。