[发明专利]基于ETL的数据处理方法、装置、设备和存储介质

说明书

本申请提供了一种基于ETL的数据处理方法、装置、设备和存储介质，通过获取源数据的更新信息，并当更新信息指示源数据发生更新时，根据预设的ETL配置信息确定源数据对应的待处理数据表集合和待执行的ETL任务，同时对源数据和待处理数据表集合执行ETL任务，得到目标数据表，其中，更新信息用于指示源数据是否发生更新；使得当源数据发生更新的同时，可以自动根据预设的ETL配置信息确定源数据对应的待处理数据表集合和待执行的ETL任务，并立即对源数据和待处理数据表集合执行ETL任务，得到目标数据表，无需等到预设时刻再去执行ETL任务，提高了执行ETL任务的时效性。

技术领域

本申请涉及大数据技术领域，特别涉及一种基于ETL的数据处理方法、装置、设备和存储介质。

背景技术

随着大数据技术的不断发展，各种应用产生的数据量急剧增加。面对大量产生的数据，通常会采用数据仓库来管理上述数据。ETL为英文Extract-Transform-Load的缩写，是指将数据进行抽取(Extract)、转换(Transform)、装载(Load)处理的过程，是构建数据仓库的重要环节。

在实现ETL的过程中，通常将各种应用产生的源数据通过抽取、转换处理得到对应的目标数据表，并将目标数据表存储在对应的目标数据库中。其中，将源数据通过抽取、转换处理得到对应的数据之后，通常还会再次对处理后的数据进行抽取、转换处理，得到更新后的数据，重复多次，最终得到目标数据表，进而将目标数据表存储至对应的目标数据库中。另一方面，可以对源数据进行不同的抽取、转换处理，得到多个目标数据表，并将各目标数据表存储在其对应的目标数据库中。传统方法中，在对源数据进行抽取、转换处理时，通常在预先设定好的时刻去执行对源数据进行抽取、转换处理。例如，在t时刻对源数据A进行抽取、转换处理之后，得到数据B，间隔预设间隔时长后到达t+t₀时刻时，再对数据B进行抽取、转换处理，得到数据C，重复多次，得到目标数据表X。

然而，按照预先设定好的时刻去执行源数据进行抽取、转换处理，若预设间隔时长过短，容易导致服务器并行任务过多，占用过多资源；若预设间隔时长过长，容易导致数据流通的时效性差。

发明内容

本申请提供一种基于ETL的数据处理方法、装置、设备和存储介质，能够提高数据流通的时效性。

第一方面，本申请实施例提供一种基于ETL的数据处理方法，该方法包括：

获取源数据的更新信息；更新信息用于指示源数据是否发生更新；

当更新信息指示源数据发生更新时，根据预设的ETL配置信息确定源数据对应的待处理数据表集合和待执行的ETL任务；

对源数据和待处理数据表集合执行ETL任务，得到目标数据表。

在一个实施例中，上述对源数据和待处理数据表集合执行ETL任务，得到目标数据表，包括：

获取待处理数据表集合中各待处理数据表的执行顺序；

按照执行顺序，对源数据与待处理数据表集合中第一个待处理数据表执行ETL任务，得到中间数据表；并对待处理数据表集合中下一个待处理数据表与中间数据表执行ETL任务，直至最后一个待处理数据表，得到目标数据表。

在一个实施例中，上述按照执行顺序，对源数据与待处理数据表集合中第一个待处理数据表执行ETL任务，得到中间数据表；并对待处理数据表集合中下一个待处理数据表与中间数据表执行ETL任务，直至最后一个待处理数据表，得到目标数据表，包括：

在执行完成上一个待处理数据表的ETL任务，得到中间数据表时，立即对下一个待处理数据表与中间数据表执行ETL任务，直至最后一个待处理数据表，得到目标数据表。

在一个实施例中，上述待处理数据表集合为多个，上述对源数据和待处理数据表集合执行ETL任务，得到目标数据表，包括：