[发明专利]一种任务调度方法和装置

说明书

技术领域

本发明涉及计算机技术领域，具体涉及一种任务调度方法和装置。

背景技术

现有的任务调度往往是根据机器资源来完成的，亦或是根据需求将任务设置在固定的时间段内来运行。但这样就没有考虑到任务和任务之间的关系，如果一个任务依赖于另一个任务的结果数据才能运行，那么前述的任务调度显然是无法满足需求的。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的任务调度方法和装置。

依据本发明的一个方面，提供了一种任务调度方法，包括：

接收任务配置信息，根据任务配置信息生成并保存相应的任务配置文件；

根据已保存的多个任务配置文件，生成并保存包含任务间依赖关系的任务拓扑图；

根据生成的任务拓扑图完成任务调度。

可选地，所述根据生成的任务拓扑图完成任务调度包括：

当任务拓扑图中的任一个任务满足该任务的除任务间依赖关系外的其他运行条件时，根据所述任务拓扑图判断该任务是否依赖于其他任务运行；

如果不依赖其他任务运行，读取该任务的任务配置文件，直接运行该任务；

如果依赖其他任务运行，则在其依赖的其他任务全部运行结束后，再读取该任务的任务配置文件，运行该任务。

可选地，所述任务配置信息包括如下中的一种或多种：

任务的基本参数；

任务运行的时间条件；

任务运行的集群；

任务运行的物理资源条件；

任务运行的数据资源条件；

任务与其他任务的依赖关系。

可选地，所述根据已保存的多个任务配置文件，生成包含任务间依赖关系的任务拓扑图包括：

从各任务配置文件中读取该任务与其他任务的依赖关系，生成任务拓扑图。

可选地，所述根据已保存的多个任务配置文件，生成包含任务间依赖关系的任务拓扑图包括：

从各任务配置文件中读取该任务运行的数据资源条件，生成任务拓扑图；所述任务运行的数据资源条件包括：任务运行所需数据的输入地址，和/或任务运行结果的输出地址。

可选地，该方法还包括：

根据负载均衡原则，从任务运行的集群中选择至少一台机器运行该任务。

可选地，所述接收任务配置信息包括：

通过前端页面接收提交的任务配置信息；

该方法还包括：

响应于前端页面发送的展示指令，将多个任务和/或包含多个任务间依赖关系的任务拓扑图返回给前端页面进行展示。

可选地，该方法还包括：

接收前端页面发送的任务间依赖关系的新增/修改/删除指令，相应地生成或修改任务拓扑图。

可选地，该方法还包括：

接收任务配置修改指令，对相应任务的任务配置文件进行修改；

根据所述任务配置修改指令判断是否需要对该任务相关的任务拓扑图进行修改，若是，则根据修改后的任务配置文件对该任务相关的任务拓扑图进行修改。

依据本发明的另一方面，提供了一种任务调度装置，包括：

任务配置单元，适于接收任务配置信息，根据任务配置信息生成并保存相应的任务配置文件；

任务拓扑图管理单元，适于根据已保存的多个任务配置文件，生成并保存包含任务间依赖关系的任务拓扑图；

任务调度单元，适于根据生成的任务拓扑图完成任务调度。

可选地，所述任务调度单元，适于当任务拓扑图中的任一个任务满足该任务的除任务间依赖关系外的其他运行条件时，根据所述任务拓扑图判断该任务是否依赖于其他任务运行；如果不依赖其他任务运行，读取该任务的任务配置文件，直接运行该任务；如果依赖其他任务运行，则在其依赖的其他任务全部运行结束后，再读取该任务的任务配置文件，运行该任务。

可选地，所述任务配置信息包括如下中的一种或多种：

任务的基本参数；

任务运行的时间条件；

任务运行的集群；

任务运行的物理资源条件；

任务运行的数据资源条件；

任务与其他任务的依赖关系。

可选地，所述任务拓扑图管理单元，适于从各任务配置文件中读取该任务与其他任务的依赖关系，生成任务拓扑图。