[发明专利]一种数据处理方法、装置、设备及介质

说明书

本发明公开了一种数据处理方法、装置、设备及介质，用以解决当出现前向依赖的ETL子任务运行故障时，目标ETL子任务一直占用调度线程不运行，造成资源浪费的问题。由于本发明实施例中预设有退出条件，当根据获取到的每个其他ETL子任务对应的运行状态，确定目标ETL子任务满足退出条件时，控制该目标ETL子任务退出调度线程，从而可以在目标ETL子任务前向依赖的其他ETL子任务运行故障时，避免该目标ETL子任务一直占用调度线程也不运行的情况发生，减少了资源浪费。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据处理方法、装置、设备及介质。

背景技术

数据仓库技术(Extract-Transform-Load，ETL)用来描述将数据从来源端经过摘取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)至目的端的过程，即从数据源摘取出所需的数据，经过数据清洗，过滤掉可能错误的数据，最终按照预先定义好的数据仓库模型，将清洗后的数据加载到数据仓库中。因此，ETL在构建数据仓库的过程中发挥着至关重要的作用。

随着数据仓库规模的增加，现有技术中，一般会将一个ETL任务分为多个ETL子任务，然后将每个ETL子任务分布式部署在不同的服务器或者不同的调度线程中，以提高构建数据仓库的效率。其中，任一ETL子任务既有可能依赖于其他ETL子任务，也有可能被其他ETL子任务依赖。根据每个ETL子任务之间的依赖关系，可以形成一棵庞大的ETL树，从该ETL树上的任何一个树顶ETL子任务到叶子ETL子任务，都会形成一条数据链路。

由于上述的ETL树上的任一条数据链路中的ETL子任务之间存在依赖关系，如果该数据链路中的任何一个ETL子任务运行故障，例如延迟、运行失败等，会导致该数据链路中所有依赖它的其他ETL子任务将一直占用所在的调度线程，造成调度线程一直被占用但无法继续运行，造成资源浪费。

发明内容

本发明实施例提供了一种数据处理方法、装置、设备及介质，用以解决当出现前向依赖的ETL子任务运行故障时，目标ETL子任务一直占用调度线程也不运行，造成资源浪费的问题。

本发明实施例提供了一种数据处理方法，所述方法包括：

当确定目标ETL子任务存在前向依赖的其他ETL子任务时，获取每个所述其他ETL子任务对应的运行状态；

根据每个所述其他ETL子任务对应的运行状态，判断所述目标ETL子任务是否满足退出条件；

若所述目标ETL子任务满足所述退出条件，则控制所述目标ETL子任务退出调度线程。

进一步地，所述根据每个所述其他ETL子任务对应的运行状态，判断所述目标ETL子任务是否满足退出条件，包括：

若任一所述其他ETL子任务对应的运行状态为运行失败，则确定所述目标ETL子任务满足退出条件。

进一步地，所述根据每个所述其他ETL子任务对应的运行状态，判断所述目标ETL子任务是否满足退出条件包括：

根据每个所述其他ETL子任务对应的运行状态、及所述目标ETL子任务已休眠时长，判断所述目标ETL子任务是否满足退出条件。

进一步地，所述根据每个所述其他ETL子任务对应的运行状态及所述目标ETL子任务已休眠时长，判断所述目标ETL子任务是否满足退出条件包括：

若每个所述其他ETL子任务对应的运行状态均不为运行失败、存在任一所述其他ETL子任务对应的运行状态为未完成运行，且所述目标ETL子任务的已休眠时长达到预设的时长阈值，则确定所述目标ETL子任务满足退出条件。

进一步地，若所述目标ETL子任务不满足退出条件，所述方法还包括：

控制所述目标ETL子任务进入预设时长的休眠。