[发明专利]一种分布式任务调度方法及装置

说明书

本发明公开了一种分布式任务调度方法及装置，方法包括：接收任务执行装置发送的任务调度请求，其中所述任务调度请求包括任务类型和所述任务执行装置的标识信息；根据所述任务调度请求，按照下发校验逻辑对至少一个子任务进行校验，获得通过校验的子任务集合；从所述子任务集合中选择子任务下发到所述任务执行装置；接收到所述任务执行装置返回的执行结果，依据执行结果修改所述下发的子任务的属性。本发明实现了任务调度装置和任务执行装置之间的无状态通信，可方便对任务执行装置进行线性扩展，能提升任务的执行能力，通过对适用于不同任务执行装置的不同任务进行集中管理和调度，能实现不同任务之间的全局关联，能支持不同任务之间的依赖。

技术领域

本发明涉及任务调度技术领域，尤其涉及一种分布式任务调度方法及装置。

背景技术

一般来说，调度就是按照某种策略，将任务合理地分配到处理单元上执行，以达到完成时间最短、提高系统利用率等目的。调度是实现高性能计算的关键技术之一。

随着计算机应用范围的日益扩大，分布式系统以及云计算技术和网络技术的进一步发展，有越来越多的将多个分布式系统集成在一起进行统一管理的需求。目前，网络中的分布式系统大都是各部门要运行一个或一个以上业务信息系统所构建的，因而这些分布式系统大多都是相互独立，没有什么相互的关联关系，因为各个分布式系统之间没有打通，无法相互兼容，无法集成在一起，因而也无法进行统一管理。

因此，无论是从系统的统一管理和资源共享，还是从各分布式系统之间需要进行通信等等，是否能将不同机器上运行的不同任务全局关联打通，实现多种任务周期的多种类型依赖的支持和全局调度，是一个非常重要的问题。但是，现有的分布式系统，对Hadoop、Linux和/或各种不同类型的数据库等是通过多套分散的调度来进行独立管理，无法打通，不能实现一站式任务管理，无疑会增加数据分析人员和数据维护人员的理解难度和工作复杂度，进而会增加系统的使用和维护成本。

发明内容

有鉴于此，本发明实施例提供一种分布式任务调度方法及装置，来解决以上问题。所述技术方案如下：

一种分布式任务调度方法，包括：

接收任务执行装置发送的任务调度请求，其中所述任务调度请求包括任务类型和所述任务执行装置的标识信息；

根据所述任务调度请求，按照下发校验逻辑对至少一个子任务进行校验，获得通过校验的子任务集合，其中所述子任务的属性包括：子任务标识符，子任务类型和所属的任务的标识符，而任务的属性包括：任务标识符，任务类型，子任务的子任务类型与所述子任务所属的任务的任务类型相同；

从所述子任务集合中选择子任务下发到所述任务执行装置；

接收到所述任务执行装置返回的执行结果，依据执行结果修改所述下发的子任务的属性。

根据本发明的同一构思，本发明还提供了一种分布式任务调度装置，包括：

调度请求接收单元，用于接收任务执行装置发送的任务调度请求，其中所述任务调度请求包括任务类型和所述任务执行装置的标识信息；

下发校验单元，用于根据所述任务调度请求，按照下发校验逻辑对至少一个子任务进行校验，获得通过校验的子任务集合，其中所述子任务的属性包括：子任务标识符，子任务类型和所属的任务的标识符，而任务的属性包括：任务标识符，任务类型，子任务的子任务类型与所述子任务所属的任务的任务类型相同；

下发单元，用于从所述子任务集合中选择子任务下发到所述任务执行装置；

结果反馈单元，用于接收到所述任务执行装置返回的执行结果，依据执行结果修改所述下发的子任务的属性。