[发明专利]管理任务的方法、装置及系统

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及管理任务的方法、装置及系统。

背景技术

在计算机上通过任务计划实现一系列程序的有序执行，目前，任务计划多是脚本形式，程序员通过编写大量的脚本将所述一系列程序包装起来，使得计算机根据所述包装该一系列程序的脚本有序地执行所述一系列的程序。

随着数据资源、程序资源以及脚本越来越多，手工管理众多的数据资源、程序资源以及脚本必然会导致较高的成本，现亟需一种管理任务的方法。

发明内容

本发明实施例提供一种管理任务的方法、装置及系统，实现了对任务的管理。

为达到上述目的，本发明实施例采用如下技术方案：

一方面，提供管理任务的方法，包括：调度器接收客户端发送的任务计划描述，所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系；所述调度器根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器；所述目标服务器根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，所述资源包括程序资源和数据资源；所述目标服务器将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库；当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。

对应于上述方法，还提供一种调度器，包括：

接收单元，用于接收客户端发送的任务计划描述，所述任务计划描述包括任务计划的输入信息、组成所述任务计划的任务节点对应的资源信息以及所述组成所述任务计划的任务节点之间的依赖关系；

调度单元，用于根据所述依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器；

传输单元，用于接收所述目标服务器发送的输出文件对应的输出资源信息，并将所述输出资源信息发送给数据库。

对应于上述方法，还提供一种管理任务的系统，包括分布式存储子系统、数据库、任务执行集群、客户端以及上述的调度器，其中

所述分布式存储子系统存储有数据资源和程序资源；

所述数据库存储有与所述数据资源对应的数据资源信息以及与所述程序资源对应的程序资源信息；

所述任务执行集群包括多个能够执行任务的服务器；所述任务执行集群中被所述调度器选取的目标服务器，用于：

根据所述当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，将所述输出文件发送给所述分布式存储子系统，并将所述输出文件对应的输出资源信息通过所述调度器发送给数据库，所述资源包括数据资源和程序资源；

所述客户端，用于：

当组成所述任务计划的任务节点都执行完成，从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件。

本发明实施例提供的管理任务的方法、装置及系统，调度器根据依赖关系以及预先设置的策略从任务执行集群中选取目标服务器，将当前可执行的任务节点对应的资源信息发送给所述目标服务器，使得目标服务器根据当前可执行的任务节点对应的资源信息从分布式存储子系统中获取所述资源信息对应的资源并根据所述资源生成输出文件，并且将所述输出文件发送给所述分布式存储子系统，将所述输出文件对应的输出资源信息通过所述调度器发送给数据库。这样，当组成所述任务计划的任务节点都执行完成，客户端从所述数据库中查询需要的输出文件对应的输出资源信息，根据所述输出资源信息从所述分布式存储子系统中下载客户端需要的输出文件，实现了对大量数据资源、程序资源以及任务计划的管理，替代了现有技术的手工管理，提高了管理的效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例一提供的管理任务的方法流程图一；

图2为本发明实施例一提供的管理任务的方法流程图二；

图3为本发明实施例二提供的管理任务的系统结构示意图；