[发明专利]基于ETL的数据处理方法、装置、设备和存储介质

权利要求书

1.一种基于ETL的数据处理方法，其特征在于，包括：

获取源数据的更新信息；所述更新信息用于指示所述源数据是否发生更新；

当所述更新信息指示所述源数据发生更新时，根据预设的ETL配置信息确定所述源数据对应的待处理数据表集合和待执行的ETL任务；

对所述源数据和所述待处理数据表集合执行所述ETL任务，得到目标数据表。

2.根据权利要求1所述的方法，其特征在于，所述对所述源数据和所述待处理数据表集合执行所述ETL任务，得到目标数据表，包括：

获取所述待处理数据表集合中各待处理数据表的执行顺序；

按照所述执行顺序，对所述源数据与所述待处理数据表集合中第一个待处理数据表执行所述ETL任务，得到中间数据表；并对所述待处理数据表集合中下一个待处理数据表与所述中间数据表执行所述ETL任务，直至最后一个待处理数据表，得到所述目标数据表。

3.根据权利要求2所述的方法，其特征在于，所述按照所述执行顺序，对所述源数据与所述待处理数据表集合中第一个待处理数据表执行所述ETL任务，得到中间数据表；并对所述待处理数据表集合中下一个待处理数据表与所述中间数据表执行所述ETL任务，直至最后一个待处理数据表，得到所述目标数据表，包括：

在执行完成上一个待处理数据表的ETL任务，得到所述中间数据表时，立即对下一个待处理数据表与所述中间数据表执行所述ETL任务，直至最后一个待处理数据表，得到所述目标数据表。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述待处理数据表集合为多个，所述对所述源数据和所述待处理数据表集合执行所述ETL任务，得到目标数据表，包括：

根据所述预设的ETL配置信息获取各所述待处理数据表集合的优先级；

根据各所述待处理数据表集合的优先级、所述源数据和各待处理数据表集合执行所述ETL任务，得到各待处理数据表集合分别对应的目标数据表。

5.根据权利要求4所述的方法，其特征在于，所述根据各所述待处理数据表集合的优先级、所述源数据和各待处理数据表集合执行所述ETL任务，得到各待处理数据表集合分别对应的目标数据表，包括：

若各所述待处理数据表集合的优先级一致，则同时对所述源数据和各待处理数据表集合执行所述ETL任务，得到各所述待处理数据表集合分别对应的目标数据表；

若各所述待处理数据表集合的优先级不一致，则按照各所述待处理数据表集合的优先级，依次对所述源数据和各待处理数据表集合执行所述ETL任务，得到各所述待处理数据表集合分别对应的目标数据表。

6.根据权利要求1-3或5任一项所述的方法，其特征在于，所述得到各所述待处理数据表集合对应的目标数据表之后，所述方法还包括：

根据数据和数据库的对应关系，确定所述目标数据表对应的目标数据库；

将所述目标数据表存储至所述对应的目标数据库中。

7.根据权利要求1-3任一项所述的方法，其特征在于，所述源数据包括数据库数据和/或静态数据；所述静态数据为外部设备输入数据库中的数据；所述获取源数据的更新信息，包括：

对于所述数据库数据，通过触发器获取所述源数据的更新信息；

对于所述静态数据；通过预设扫描程序扫描所述源数据，获取所述源数据的更新信息。

8.一种基于ETL的数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取源数据的更新信息；所述更新信息用于指示所述源数据是否发生更新；

确定模块，用于当所述更新信息指示所述源数据发生更新时，根据预设的ETL配置信息确定所述源数据对应的待处理数据表集合和待执行的ETL任务；

执行模块，用于对所述源数据和所述待处理数据表集合执行所述ETL任务，得到目标数据表。

9.一种电子设备，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。