[发明专利]任务调度的方法、装置和设备

说明书

本申请公开了一种任务调度的方法、装置和设备，可以应用于大数据分析技术领域。该任务调度的方法包括：获取第一任务，在第一任务执行完成时，确定N个第二任务。其中，第二任务为第一任务的下游任务。当N个第二任务中的第i个第二任务的上游任务执行完成时，执行第i个第二任务。在本申请中，下游任务在确定上游任务执行完成时就能够触发执行，无须等到固定执行时间，有效降低了上下游任务间的延迟。

技术领域

本申请涉及大数据分析技术领域，尤其涉及一种任务调度的方法、装置和设备。

背景技术

目前，随着互联网的高速发展，需要借助网络运行的任务种类日益繁多。在大数据分析技术领域，多个任务之间存在复杂的依赖关系，就要求必须使用任务调度对任务进行管理。

传统的任务调度主要采用周期定时执行、以任务作为上游依赖的调度方式。由于用户在配置任务时，几乎不能给出一个最合适的定时执行时间。这就导致了传统的任务调度方法存在高延迟的问题。

发明内容

本申请提供了一种任务调度的方法、装置和设备，以实现降低上下游任务之间的延迟。

第一方面，本申请提供一种任务调度的方法，包括：获取第一任务；当第一任务执行完成时，确定N个第二任务，第二任务为第一任务的下游任务，N为正整数；当N个第二任务中的第i个第二任务的上游任务执行完成时，执行第i个第二任务。

在一些可能的实施方式中，在获取第一任务之后，方法还包括：根据第一任务的第一依赖数据表和第一执行参数，执行第一任务；第一依赖数据表指示第一任务在执行时所依赖的上游任务产出的数据表。

在一些可能的实施方式中，当第一任务执行完成时，确定N个第二任务，包括：当第一任务执行完成时，获得第一产出数据表，第一产出数据表为第一任务在执行完成时产出的数据表；将第一任务的下游任务中，依赖于第一产出数据表的N个下游任务确定为N个第二任务。

在一些可能的实施方式中，第一执行参数至少包括以下之一：执行粒度、依赖粒度、依赖时间偏移量和产出时间偏移量；其中，执行粒度用于表示执行第一任务的执行周期；依赖粒度用于表示第一任务在执行时所依赖第一依赖数据表的周期；依赖时间偏移量用于表示执行第一任务的执行时刻与第一依赖数据表的产出时刻之间的偏移值；产出时间偏移量用于表示执行第一任务的执行时刻与第一任务产出数据表的产出时刻之间的偏移值。

在一些可能的实施方式中，

执行周期至少包括以下之一：一个月、一周、一天以及一小时。

在一些可能的实施方式中，在当N个第二任务中的第i个第二任务的上游任务执行完成时，执行第i个第二任务之前，方法还包括：轮询N个第二任务；根据每一个第二任务的第二依赖数据表，确定每一个第二任务的上游任务，其中，第二依赖数据表用于指示每一个第二任务在执行时所依赖的上游任务产出的数据表。

在一些可能的实施方式中，在根据每一个第二任务的第二依赖数据表，确定每一个第二任务的上游任务之后，方法还包括：检测每一个第二任务的上游任务是否产出数据表；当检测到第i个第二任务的上游任务已产出数据表时，确定第i个第二任务的上游任务执行完成。

在一些可能的实施方式中，在当第一任务执行完成时，确定N个第二任务之后，方法还包括：根据N个第二任务中的每一个第二任务的第二执行参数，为每一个第二任务注册执行触发器，执行触发器用于在对应的第二任务的执行时刻到达时触发第二任务执行；当N个第二任务中的第i个第二任务的上游任务执行完成时，执行第i个第二任务，包括：当第i个第二任务的上游任务执行完成时，触发第i个第二任务对应的执行触发器。