[发明专利]ETL任务调度方法、装置、计算机设备及存储介质

说明书

本发明公开了一种ETL任务调度方法、装置、计算机设备及存储介质。该方法包括：从ETL任务列表获取ETL任务作为目标ETL任务，ETL任务列表包含ETL任务以及ETL任务的依赖关系；根据目标ETL任务的依赖关系判断目标ETL任务是否存在依赖ETL任务；若目标ETL任务不存在依赖ETL任务，将目标ETL任务发送给调度服务器，以由调度服务器处理所述目标ETL任务；若目标ETL任务存在依赖ETL任务，根据目标ETL任务的依赖ETL任务的执行结果来处理目标ETL任务，从而能够实现ETL任务的自动化执行，极大地提高了ETL任务调度的效率，减少了企业员工的工作负担，降低人力成本。同时本发明实施例的技术方案能够在非上班时间自动化工作，充分利用了调度服务器的调度资源，减缓了调度服务器的负载。

技术领域

本发明涉及大数据技术领域，尤其涉及一种ETL任务调度方法、装置、计算机设备及存储介质。

背景技术

ETL，是英文Extract-Transform-Load的缩写，用来描述将数据从来源端经过抽取(extract)、交互转换(transform)、加载(load)至目的端的过程。ETL是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

目前，ETL任务调度需要手工执行一系列流程，过程重复繁琐，自动化程度低，效率低下。随着企业数据量的增多，调度任务急剧增加，常常需要员工加班才能够完成。并且，ETL任务调度出现问题后，需要人为到ETL任务调度服务器查找错误原因，效率低下。

发明内容

本发明实施例提供了一种ETL任务调度方法、装置、计算机设备及存储介质，旨在解决目前ETL任务调度效率低下的问题。

第一方面，本发明实施例提供了一种ETL任务调度方法，其包括：

从ETL任务列表获取ETL任务作为目标ETL任务，所述ETL任务列表包含ETL任务以及ETL任务的依赖关系；

根据所述目标ETL任务的依赖关系判断所述目标ETL任务是否存在依赖ETL任务；

若判断结果为所述目标ETL任务不存在依赖ETL任务，将所述目标ETL任务发送给调度服务器，以由所述调度服务器处理所述目标ETL任务；

若判断结果为所述目标ETL任务存在依赖ETL任务，根据所述目标ETL任务的依赖ETL任务的执行结果来处理所述目标ETL任务。

第二方面，本发明实施例还提供了一种ETL任务调度装置，其包括用于执行上述方法的单元。

第三方面，本发明实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。

本发明实施例提供了一种ETL任务调度方法、装置、计算机设备及存储介质。其中，所述方法包括：从ETL任务列表获取ETL任务作为目标ETL任务，所述ETL任务列表包含ETL任务以及ETL任务的依赖关系；根据所述目标ETL任务的依赖关系判断所述目标ETL任务是否存在依赖ETL任务；若判断结果为所述目标ETL任务不存在依赖ETL任务，将所述目标ETL任务发送给调度服务器，以由所述调度服务器处理所述目标ETL任务；若判断结果为所述目标ETL任务存在依赖ETL任务，根据所述目标ETL任务的依赖ETL任务的执行结果来处理所述目标ETL任务从而能够实现ETL任务的自动化执行，极大地提高了ETL任务调度的效率，减少了企业员工的工作负担，降低人力成本。同时本发明实施例的技术方案能够在非上班时间自动化工作，充分利用了调度服务器的调度资源，减缓了调度服务器的负载。

附图说明