[发明专利]ETL任务执行方法、装置、计算机设备及存储介质

说明书

本申请涉及数据仓库工具技术领域，具体公开了一种ETL任务执行方法、装置、计算机设备及存储介质。其中方法包括：在ETL任务开始执行前，判断数据存储端是否有与ETL任务对应的中间数据；若数据存储端有与ETL任务对应的中间数据，则获取中间数据；根据中间数据确定ETL任务的执行进程，以使ETL任务根据执行进程进行断点重启；若数据存储端没有与ETL任务对应的中间数据，则执行ETL任务；在ETL任务的执行期间，获取ETL任务在执行期间的中间数据，并将中间数据存储至数据存储端中。本申请实施例可以提高ETL任务的执行效率。此外，本申请还涉及区块链技术，中间数据可存储于区块链节点中。

技术领域

本申请涉及数据仓库工具技术领域，尤其涉及一种ETL任务执行方法、装置、计算机设备及存储介质。

背景技术

ETL(Extract-Transform-Load)是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。ETL任务在执行过程中，如果发生异常会导致停止运行，需要定位错误并修复错误。而修复完成后，ETL任务再次运行是从头开始执行，因此之前已经执行过的数据会被同样的逻辑再次运行，如此会造成很多无用功，导致ETL任务的执行效率低下。

发明内容

本申请提供了一种ETL任务执行方法、装置、计算机设备及存储介质，可以提高ETL任务的执行效率。

第一方面，本申请提供了一种ETL任务执行方法，所述方法包括：

在ETL任务开始执行前，判断数据存储端是否有与所述ETL任务对应的中间数据；

若所述数据存储端有与所述ETL任务对应的中间数据，则获取所述中间数据；

根据所述中间数据确定所述ETL任务的执行进程，以使所述ETL任务根据所述执行进程进行断点重启；

若所述数据存储端没有与所述ETL任务对应的中间数据，则执行所述ETL任务；

在所述ETL任务的执行期间，获取所述ETL任务在执行期间的中间数据，并将所述中间数据存储至所述数据存储端中。

第二方面，本申请提供了一种ETL任务执行装置，所述装置包括：

数据判断模块，用于在ETL任务开始执行前，判断数据存储端是否有与所述ETL任务对应的中间数据；

数据获取模块，用于在所述数据存储端有与所述ETL任务对应的中间数据时，获取所述中间数据；

进程恢复模块，用于根据所述中间数据确定所述ETL任务的执行进程，以使所述ETL任务根据所述执行进程进行断点重启；

任务运行模块，用于若所述数据存储端没有与所述ETL任务对应的中间数据，则执行所述ETL任务；

数据存储模块，用于在所述ETL任务的执行期间，获取所述ETL任务在执行期间的中间数据，并将所述中间数据存储至所述数据存储端中。

第三方面，本申请还提供了一种计算机设备，所述计算机设备包括存储器和处理器；所述存储器用于存储计算机程序；所述处理器，用于执行所述计算机程序并在执行所述计算机程序时实现如上述的ETL任务执行方法。

第四方面，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上述的ETL任务执行方法。