[发明专利]一种ETL任务执行方法、系统、装置、服务器及存储介质

说明书

本发明公开了一种ETL任务执行方法、系统、装置、服务器及存储介质。其中方法包括：调用ETL定时任务流程，其中，所述ETL定时任务流程包括依序设置的至少一个数据源控件和至少一个数据仓库控件，其中，各所述数据源控件连接对应的数据源，各所述数据仓库控件连接对应的数据仓库；在所述ETL定时任务流程的执行过程中，获取流程更新指令；当所述流程更新指令对应的更新对象不是当前执行对象时，执行所述流程更新指令，对所述ETL定时任务流程进行更新，其中，更新后的ETL定时任务流程在下一定时时刻执行。实现了在ETL任务的执行过程中，对ETL定时任务流程的任务对象进行更新。

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种ETL任务执行方法、系统、装置、服务器及存储介质。

背景技术

ETL(Extraction-Transformation-Loading)为数据抽取、转换和加载，ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

目前，在ETL的任务执行过程中，无法对数据源和数据里进行切换或者增减。

发明内容

本发明提供一种ETL任务执行方法、系统、装置、服务器及存储介质，以实现提高ETL任务执行的灵活性。

第一方面，本发明实施例提供了一种ETL任务执行方法，包括：

调用ETL定时任务流程，其中，所述ETL定时任务流程包括依序设置的至少一个数据源控件和至少一个数据仓库控件，其中，各所述数据源控件连接对应的数据源，各所述数据仓库控件连接对应的数据仓库；

在所述ETL定时任务流程的执行过程中，获取流程更新指令；

当所述流程更新指令对应的更新对象不是当前执行对象时，执行所述流程更新指令，对所述ETL定时任务流程进行更新，其中，更新后的ETL定时任务流程在下一定时时刻执行。

第二方面，本发明实施例还提供了一种ETL任务调度系统，包括服务端、注册中心和执行器，其中，

所述服务端用于调用ETL定时任务流程，其中，所述ETL定时任务流程包括依序设置的至少一个数据源控件和至少一个数据仓库控件，其中，各所述数据源控件连接对应的数据源，各所述数据仓库控件连接对应的数据仓库；

所述执行器用于执行所述ETL定时任务流程；

所述服务端还用于在所述ETL定时任务流程的执行过程中，获取流程更新指令，当所述流程更新指令对应的更新对象不是当前执行对象时，执行所述流程更新指令，对所述ETL定时任务流程进行更新，其中，更新后的ETL定时任务流程在下一定时时刻执行；

所述注册中心用于对执行器进行注册。

第三方面，本发明实施例还提供了一种ETL任务执行装置，包括：

任务流程调用装置，用于调用ETL定时任务流程，其中，所述ETL定时任务流程包括依序设置的至少一个数据源控件和至少一个数据仓库控件，其中，各所述数据源控件连接对应的数据源，各所述数据仓库控件连接对应的数据仓库；

更新指令获取模块，用于在所述ETL定时任务流程的执行过程中，获取流程更新指令；

流程更新模块，用于当所述流程更新指令对应的更新对象不是当前执行对象时，执行所述流程更新指令，对所述ETL定时任务流程进行更新，其中，更新后的ETL定时任务流程在下一定时时刻执行。

第四方面，本发明实施例还提供了一种服务器，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明任一实施例提供的ETL任务执行方法。