[发明专利]一种任务调度方法及系统

说明书

本发明提供了一种任务调度方法及系统，该方法为：周期性获取目标任务的第一任务批次；根据预设的目标任务所依赖的上游任务的依赖关系三元组，结合第一任务批次对应的起始时间和上游任务的执行周期类型，确定与第一任务批次关联的上游任务的第二任务批次；若确定第二任务批次执行完成，执行第一任务批次。本方案中，周期性获取目标任务的第一任务批次，并确定目标任务的上游任务中，与第一任务批次关联的第二任务批次，当确定第二任务批次执行完成后，执行第一任务批次。以任务为粒度，对执行周期不同的任务之间进行调度，从而实现细粒度的任务调度，提高任务调度的效率和可靠性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种任务调度方法及系统。

背景技术

目前通常以粗粒度的调度方案进行任务调度，即以工作流（具有依赖关系的若干任务集合）为粒度进行任务调度。

但是在实际应用中，执行周期不同的任务之间往往具有依赖关系，而随着互联网的发展，任务的数量急剧增长，这也就使各个任务之间的依赖关系越来越复杂，无法将每个任务划分为孤立的工作流，进而无法保证任务的有序执行，因此粗粒度的调度方案的调度效率较低和调度可靠性较差。

发明内容

有鉴于此，本发明实施例提供一种任务调度方法及系统，以解决目前粗粒度的调度方案存在的调度效率低和调度可靠性差等问题。

为实现上述目的，本发明实施例提供如下技术方案：

本发明实施例第一方面公开一种任务调度方法，所述方法包括：

周期性获取目标任务的第一任务批次，所述第一任务批次在所述目标任务的执行周期的起始时间生成；

根据预设的所述目标任务所依赖的上游任务的依赖关系三元组，结合所述第一任务批次对应的起始时间和所述上游任务的执行周期类型，确定与所述第一任务批次关联的所述上游任务的第二任务批次，所述第二任务批次在所述上游任务的执行周期的起始时间生成，所述依赖关系三元组由任务信息、周期类型和周期差值构成；

若确定所述第二任务批次执行完成，执行所述第一任务批次。

优选的，所述根据预设的所述目标任务所依赖的上游任务的依赖关系三元组，结合所述第一任务批次对应的起始时间和所述上游任务的执行周期类型，确定与所述第一任务批次关联的所述上游任务的第二任务批次，包括：

将所述第一任务批次对应的起始时间后退K个指定周期类型的周期，得到目标起始时间，K为所述目标任务所依赖的上游任务的依赖关系三元组中的周期差值的绝对值，所述指定周期类型为所述依赖关系三元组中的周期类型；

若所述上游任务的执行周期类型的时长等于所述依赖关系三元组中的周期类型的时长，确定与所述第一任务批次关联的，执行周期的起始时间为所述目标起始时间的所述上游任务的第二任务批次；

若所述上游任务的执行周期类型的时长小于所述依赖关系三元组中的周期类型的时长，利用所述目标起始时间和所述依赖关系三元组中的周期类型与周期差值，确定目标时间段；

确定与所述第一任务批次关联的，执行周期的起始时间处于所述目标时间段内的所述上游任务的第二任务批次。

优选的，所述若确定所述第二任务批次执行完成，执行所述第一任务批次，包括：

若确定所述第二任务批次执行完成，确定满足预设条件的执行器，所述预设条件根据所述目标任务的配置信息确定；

将所述第一任务批次发送至所述执行器，使所述执行器执行所述第一任务批次。

优选的，执行所述第一任务批次之后，还包括：

接收所述第一任务批次的执行状况信息。

优选的，所述周期性获取目标任务的第一任务批次之前，还包括：

接收用于触发目标任务的运行指令。

本发明实施例第二方面公开一种任务调度系统，所述系统包括：