[发明专利]一种任务调度方法及装置

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种任务调度方法及装置。

背景技术

随着信息技术的不断发展，信息量呈爆炸式增长，如何快速地从海量数据中挖掘出有价值的信息变得日益重要，大数据系统正是这样一个数据处理和服务平台，作为提供数据计算服务的平台，通常承担了成百上千甚至更多的任务，数据处理过程通常涉及到复杂的流程，一次完整的数据处理任务通常包括多个子任务，如何有效管理和控制好这些任务，让它们协调地工作，是影响到大数据系统能否实现其价值的重要性因素之一。

大数据系统的主要特点包括：

（1）数据量巨大：系统通常拥有若干TB甚至上PB的数据量；

（2）任务数量庞大：作为数据服务平台，随时接收用户提交的处理任务；

（3）任务通常以数据处理为中心：任务的主要职责是对数据进行清洗、转化、分析、挖掘等，各个任务之间构成一个数据处理流；

（4）任务之间的关系通常通过数据来建立。

目前，任务调度方式普遍采用控制流的原理，即根据任务状态来控制任务的执行流程，所谓任务状态，是指任务的运行结果情况，即成功或者失败。任务调度通常按照这样的逻辑来进行：假如任务执行计划中包括A、B、C三个任务，三者的依赖关系为：C＞B＞A，即Ｃ能否启动取决于B的运行状态是否成功，B能否启动，取决于A的运行状态是否成功。

现有技术中，普遍采用的是基于控制流和任务状态的任务调度方式，该方式在任务数较少的时候，很容易实现，但是当任务量非常庞大的时候，尤其是任务之间的依赖关系非常复杂的时候，对任务关系的维护将是个很大的挑战。另一方面，假如在A、B、C构成的任务链中，如果A任务产生多个输出结果，B将使用到其中某一部分输出结果，这些输出结果之间存在一定的时间间隔，设任务A在时刻t1输出B所依赖的资源，在t2时刻A任务完成，那么在这种调度机制下，任务B最早启动时间为t2——即任务A全部完成，对于B来说，其所依赖的资源在t1时刻就存在，则（t2-t1）为任务B的空闲等待时间。

综上所述，现有方案的缺点主要体现在以下几个方面：

1、调度系统必须对任务之间的关系进行维护，这增加了调度系统的实现难度和运行成本；

2、任务之间存在空闲等待时间，会造成资源上的浪费和任务的延迟现象。

发明内容

为了解决在大数据系统中任务调度复杂且存在延迟的技术问题，本发明提出一种任务调度方法及装置。

本发明的一个方面，提供一种任务调度方法，包括：

从第一任务的任务配置文件中解析得到任务配置项；

根据所述任务配置项查询所述第一任务完成的依赖条件；

根据所述第一任务完成的依赖条件调度所述第一任务。

本发明的另一个方面，提供一种任务调度装置，包括：

解析模块，用于从第一任务的任务配置文件中解析得到任务配置项；

查询模块，用于根据所述任务配置项查询所述第一任务完成的依赖条件；

调度模块，用于根据所述第一任务完成的依赖条件调度所述第一任务。本发明的任务调度方法及装置，通过对任务执行的依赖条件进行判断，来对任务进行执行调度，无需维护任务之间的关系，降低了系统的复杂度，提升系统效率；使得大规模任务群的调度管理得以实现；最大程度减少任务空闲等待时间，提高系统的效率。

附图说明

图1是本发明任务调度方法实施例的流程图；

图2是本发明任务调度方法另一实施例的流程图；

图3是本发明任务调度方法再一实施例的流程图；

图4是本发明任务调度装置实施例的结构图。

具体实施方式

本发明采用基于数据状态来进行任务调度的思路。数据状态，即数据的存在状态（是否就绪），将任务视为数据处理单元，只关注任务所依赖的数据和输出的数据，不关注任务的状态以及任务之间的关系。是否启动一个任务的唯一判断依据就是该任务所依赖的数据是否就绪。以下结合附图对本发明进行详细说明。

如图1所示，本发明提供一种任务调度方法实施例，包括以下步骤：

步骤101，从第一任务的任务配置文件中解析得到任务配置项；

步骤102，根据任务配置项查询第一任务完成的依赖条件；

步骤103，根据第一任务完成的依赖条件调度第一任务。