[发明专利]一种基于分布式缓存的作业调度方法及装置

说明书

本发明提供了一种基于分布式缓存的作业调度方法及装置，可用于金融领域，方法包括：根据获取的本集群内待执行作业的作业配置生成作业执行计划；根据分布式应用系统时间和分布式缓存中其他作业的执行情况查找作业执行计划中满足执行条件的作业；判断满足执行条件的作业是否可执行；如果是，则执行该作业，并在分布式缓存中将该作业的执行状态更新为执行成功。本申请实现了各个服务集群作业调度的逻辑和物理上与作业管理集群隔离，作业的调度由服务集群自身触发，不存在单点性能瓶颈，提高了作业调度并发，消除了各服务集群对管理集群的调度依赖，保障了作业调度的高可用性。

技术领域

本申请属于分布式技术领域，具体地讲，涉及一种基于分布式缓存的作业调度方法及装置。

背景技术

目前，分布式系统中批量作业的调度主要为集中管理模式。即由一个集中管理集群通过预先配置好的参数生成作业执行计划，然后不断扫描待执行作业的信息，并根据触发条件、依赖关系等判断各个作业是否满足执行要求，满足的话，则向服务集群的作业执行器发起调度指令。但是，该模式存在以下缺点：

1、由于单一集群管理和调度方式，作业调度的并发度存在性能瓶颈，无法满足分布式系统海量作业调度的要求。

2、作业调度依赖集中管理集群，若该集群异常则所有的服务集群的作业调度无法执行，不满足分布式系统高可用的需求。

发明内容

本申请提供了一种基于分布式缓存的作业调度方法及装置，以至少解决目前的分布式系统中批量作业的调度无法满足海量作业调度的要求并且作业调度依赖集中管理集群，若该集群异常则所有的服务集群的作业调度无法执行的问题。

根据本申请的第一个方面，提供了一种基于分布式缓存的作业调度方法，包括：

根据获取的本集群内待执行作业的作业配置生成作业执行计划；

根据分布式应用系统时间和分布式缓存中其他作业的执行情况查找作业执行计划中满足执行条件的作业；

判断满足执行条件的作业是否可执行；

如果是，则执行该作业，并在分布式缓存中将该作业的执行状态更新为执行成功。

在一实施例中，判断满足执行条件的作业是否可执行，包括：

在分布式缓存中对满足执行条件的作业加装分布式事务锁；

如果加锁失败则放弃执行该作业；

如果加锁成功则执行该作业。

在一实施例中，基于分布式缓存的作业调度方法还包括：

如果加锁成功，则先将分布式缓存中该作业的执行状态更新为处理中，再执行该作业。

在一实施例中，根据获取的本集群内待执行作业的作业配置生成作业执行计划，包括：

获取本集群内待执行作业的作业配置；

根据作业配置获取该作业的前项依赖作业和作业执行时间；

根据前项依赖作业和作业执行时间生成作业执行计划。

在一实施例中，基于分布式缓存的作业调度方法还包括：

如果作业执行失败，则将分布式缓存中的作业执行状态更新为执行失败，并进行报警。

根据本申请的第二个方面，还提供了一种基于分布式缓存的作业调度装置，包括：

作业执行计划生成单元，用于根据获取的本集群内待执行作业的作业配置生成作业执行计划；

查找单元，用于根据分布式应用系统时间和分布式缓存中其他作业的执行情况查找作业执行计划中满足执行条件的作业；