[发明专利]一种任务调度的方法及相关装置

说明书

本申请提供一种任务调度的方法及相关装置。所述方法应用于任务调度系统，所述任务调度系统包括任务调度平台和任务分发组件，所述方法包括：获取用户提交的任务流；通过所述任务调度平台对所述任务流进行拆分，得到多个任务，确定所述多个任务的提交触发条件，根据所述多个任务的提交触发条件生成可提交任务队列；将所述可提交任务队列中的任务提交到所述任务分发组件；通过所述任务分发组件将所述可提交任务队列中的任务分发给目标分布式集群，获取任务运行结果。本申请实施例的技术方案，有利于简化建立任务的过程，提高任务调度的效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种任务调度的方法及相关装置。

背景技术

Oozie是基于工作流引擎的开源框架，与Hadoop生态圈结合紧密，能够提供对Hadoop MapReduce和Pig Job的任务调度与协调。

但是，Oozie中的工作流需要用xml文件定义执行顺序，定义过于复杂，当用户需要建立多个关联的任务时，需要将任务的执行顺序写入xml文件，然后使用Oozie提交本次任务，Oozie才会调度此任务流，这样，在大数据情况下，建立任务时需要进行大量的xml文件配置，配置过程复杂，并且由于所有配置工作都在Oozie进行，Oozie的工作压力较大，任务调度的效率低。

发明内容

本申请实施例提供一种任务调度的方法及相关装置，有利于简化建立任务的过程，提高任务调度的效率。

本申请第一方面提供一种任务调度的方法，所述方法应用于任务调度系统，所述任务调度系统包括任务调度平台和任务分发组件，所述方法包括：

获取用户提交的任务流；

通过所述任务调度平台对所述任务流进行拆分，得到多个任务，确定所述多个任务的提交触发条件，根据所述多个任务的提交触发条件生成可提交任务队列；

将所述可提交任务队列中的任务提交到所述任务分发组件；

通过所述任务分发组件将所述可提交任务队列中的任务分发给目标分布式集群，获取任务运行结果。

本申请第二方面提供了一种任务调度的装置，所述装置应用于任务调度系统，所述任务调度系统包括任务调度平台和任务分发组件，所述装置包括：

获取单元，用于获取用户提交的任务流；

调度单元，用于通过所述任务调度平台对所述任务流进行拆分，得到多个任务，确定所述多个任务的提交触发条件，根据所述多个任务的提交触发条件生成可提交任务队列；

提交单元，用于将所述可提交任务队列中的任务提交到所述任务分发组件；

分发单元，用于通过所述任务分发组件将所述可提交任务队列中的任务分发给目标分布式集群，获取任务运行结果。

本申请第三方面提供了一种电子设备，所述电子设备包括处理器、存储器、通信接口以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行本申请第一方面任一方法中的步骤的指令。

本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现本申请第一方面任一方法中所描述的部分或全部步骤。