[发明专利]基于ETL的任务调度方法、装置、计算机设备及存储介质

说明书

本申请实施例属于大数据处理技术领域，涉及一种基于ETL的任务调度方法，包括：当接收到任务调度指令时，采用任务调度模型配置任务调度的参数类别，并制定与每一任务调度层的上层任务调度层和/或下层任务调度层的依赖关系；根据所述依赖关系顺序执行所述任务调度层，并在执行所述任务调度层的过程中，将所述上层任务调度层产生的所述参数类别对应的参数数据传递到下层任务调度层；执行完成所有所述任务调度层后，将所有的参数数据进行汇总并分析，以确定所述任务调度的调度结果。本申请还提供一种基于ETL的任务调度装置、计算机设备及存储介质。本申请可实现任务调度问题的定位以及判断任务调度结果的影响。

技术领域

本申请涉及大数据处理技术领域，尤其涉及一种基于ETL的任务调度方法、装置、计算机设备及存储介质。

背景技术

现阶段，在大数据领域中，数据的流转主要有以下几个阶段：

数据生产阶段：客户或者应用产生的业务数据。

数据ETL(EXTRACT-TRANSFORM-LOAD，抽取、转换、加载技术用来描述将数据从来源端经过抽取、转换、加载至目的端的过程)阶段：数仓、数据中台等数据统一加工处理存储。

数据应用阶段：提供分析、展示场景(如数据大屏、数据报表、数据分析报告)使用的应用数据。

数据ETL是数据应用的前提、基础。每个数据ETL处理通常会产生一个定时的调度程序，用于代表所要处理的逻辑。不同的处理过程可以复用同一张表的基础数据。相对的，就会产生调度程序之间的相互依赖，这种依赖关系业界也称血缘。随着数据来源逐步多样化，数据ETL逻辑越来越复杂，各个调度程序之间的相互依赖关系也变的越来越复杂。例如在保险业务统计中，调度程序数量少则几百多则上万，整体上形成了一种网状关系，系统维护以及问题定位就变得愈发困难，整条链路上的依赖关系非常复杂，一旦某个调度程序出现问题无法快速找定位问题的位置，也没办法判断RTL数据处理末端结果的影响程度。

发明内容

本申请实施例的目的在于提出一种基于ETL的任务调度方法、装置、计算机设备及存储介质，以解决现有技术无法定位任务调度问题以及无法判断任务调度结果的影响的技术问题。

为了解决上述技术问题，本申请实施例提供一种基于ETL的任务调度方法，采用了如下所述的技术方案：

当接收到任务调度指令时，采用任务调度模型配置任务调度的参数类别，并制定与每一任务调度层的上层任务调度层和/或下层任务调度层的依赖关系；

根据所述依赖关系顺序执行所述任务调度层，并在执行所述任务调度层的过程中，将所述上层任务调度层产生的所述参数类别对应的参数数据传递到下层任务调度层；

执行完成所有所述任务调度层后，将所有的参数数据进行汇总并分析，以确定所述任务调度的调度结果。

进一步的，所述制定与每一任务调度层的上层任务调度层和/或下层任务调度层的依赖关系的步骤，包括：

制定任务链路；

制定每一任务链路中的每一任务调度层的上层任务调度层和/或下层任务调度层的依赖关系，以及制定每一任务调度层所依赖的上层任务调度层的参数类别。

进一步的，制定任务链路的步骤，包括：

根据所述任务调度指令确定任务调度所需实现的各功能；

根据所述功能制定对应的所述任务链路。

进一步的，所述任务类别包括运行状态、运行时长、任务调度层中任务程序的归属性、每一任务链路中上层任务调度层的消耗以及任务调度层的等级标记；所述将所述上层任务调度层产生的所述参数类别对应的参数数据传递到下层任务调度层的步骤，包括：