[发明专利]一种任务调度方法、装置和系统

说明书

本申请实施例公开了一种任务调度方法、装置和系统，调度节点将满足待处理需求的任务实例缓存至redis内存数据库；基于任务依赖信息确定出各任务实例的依赖信息和被依赖信息；并将各任务实例的依赖信息和被依赖信息缓存至redis内存数据库。若目标任务实例所依赖的任务实例执行完毕，则将redis内存数据库中缓存的目标任务实例迁移至其对应任务类型的任务队列中，以便于工作节点从与自身任务类型相匹配的任务队列中读取目标任务实例；在完成目标任务实例后，依据目标被依赖信息确定出相匹配的目标被依赖任务实例，并对目标被依赖任务实例的目标依赖信息中记录的目标任务实例的标识信息进行标记，在相同配置下提高任务高并发调度性能。

技术领域

本申请涉及分布式任务处理技术领域，特别是涉及一种任务调度方法、装置和系统。

背景技术

随着业务需求的增长，分布式处理系统被广泛应用。分布式处理系统需要处理大量的任务，如何实现对任务的有序调度是当前分布式处理系统的重要工作。现有的调度方法，在面对大量并发任务调度时存在性能问题，会导致三个不好的结果，一个是会导致任务挤压，大量任务挤压会导致调度系统崩溃；第二个是会导致大量任务不能按时运行，也是就是说会有大量的任务运行延时，比如应该在一点钟运行的，结果到两点钟才运行。导致这些结果的原因就是分布式并发调度性能不够好。原有分布式任务处理的扩展能力有限，受限于调度性能，无法通过横向扩展更多节点来增加系统调度能力，因为扩展节点会导致系统协调服务存储压力上升，导致系统整体不稳定。

可见，如何在相同配置下提高任务高并发调度性能，是本领域技术人员需要解决的问题。

发明内容

本申请实施例的目的是提供一种任务调度方法、装置和系统，可以在相同配置下提高任务高并发调度性能。

为解决上述技术问题，本申请实施例提供一种任务调度方法，适用于调度节点，所述方法包括：

将满足待处理需求的任务实例缓存至redis内存数据库；

基于任务依赖信息确定出各所述任务实例的依赖信息和被依赖信息；并将各所述任务实例的依赖信息和被依赖信息缓存至所述redis内存数据库；其中，所述依赖信息包括任务实例所依赖的其它任务实例的标识信息；所述被依赖信息包括对任务实例具有依赖关系的其它任务实例的标识信息；

判断目标任务实例所依赖的任务实例是否执行完毕；其中，所述目标任务实例为所有所述任务实例中的任意一个任务实例；

若目标任务实例所依赖的任务实例执行完毕，则将所述redis内存数据库中缓存的所述目标任务实例迁移至其对应任务类型的任务队列中，以便于与所述任务类型相对应的工作节点从所述任务队列中读取所述目标任务实例，在完成所述目标任务实例后，依据所述目标任务实例的目标被依赖信息确定出相匹配的目标被依赖任务实例，并对所述目标被依赖任务实例的目标依赖信息中记录的所述目标任务实例的标识信息进行标记。

可选地，所述将满足待处理需求的任务实例缓存至redis内存数据库包括：

定时扫描任务实例列表中的数据；

从所述任务实例列表中拉取满足待处理需求的任务实例；并将所述任务实例缓存至redis内存数据库。

可选地，所述从所述任务实例列表中拉取满足待处理需求的任务实例包括：

从所述任务实例列表中拉取任务执行时间与当前时间的差值小于预设时间限值的任务实例。

可选地，所述工作节点对所述目标被依赖任务实例的目标依赖信息中记录的所述目标任务实例的标识信息进行标记包括：

所述工作节点对所述目标被依赖任务实例的目标依赖信息中记录的所述目标任务实例的标识信息进行删除；