[发明专利]一种ETL任务中指标变更的检测方法和装置

权利要求书

1.一种ETL任务中指标变更的检测方法，其特征在于，包括：

获取变更前的ETL任务和变更后的ETL任务；

解析所述变更前的ETL任务和变更后的ETL任务，生成变更前目标表集合和变更后目标表集合，以及变更前后的所有源表集合，并根据其各自的建表指令进行建表；

针对每个源表，按照事先备份好的数据进行初始化；

以上述初始化后的源表为数据来源，分别执行所述变更前的ETL任务的数据操作指令和变更后的ETL任务的数据操作指令，在变更前目标表集合和变更后目标表集合中，分别获得相应的数据；

比较所述变更前目标表集合和变更后目标表集合的共有目标表下同名指标的数据，判断数据是否发生变化，若是，则判断指标发生变更并作出指标变更标识。

2.根据权利要求1所述的ETL任务中指标变更的检测方法，其特征在于，所述判断数据是否发生变化，具体是：

判断相同目标表中同名指标下的数据量是否发生变化，若是，则对该同名指标作出“数据量发生变化”的标识。

3.根据权利要求2所述的ETL任务中指标变更的检测方法，其特征在于，所述判断相同目标表中同名指标下的数据量是否发生变化的步骤中，若判断结果为否，则：

以所述相同目标表中的变化前目标表为主表，选择一个具有主键性质的公共指标作为关联字段；

通过所述关联字段，将所述变化前目标表与相同目标表中的变化后目标表相关联，比较所述同名指标下的数据值是否发生变化；

若是，则对所述同名指标作出“数据值发生变化”的标识。

4.根据权利要求3所述的ETL任务中指标变更的检测方法，其特征在于，若所述比较所述同名指标下的数据值是否发生变化的步骤中，判断结果为是，则找出主键指标的至少一个数据值，并在所述变化前目标表中找出对应所述数据值的所述同名指标的数据值作为变化前数据值，以及在所述变化后目标表中找出对应所述数据值的所述同名指标的数据值作为变化后数据值；

将所述同名指标标识为：在所述主键指标为所述数据值时，所述同名指标的值从所述变化前数据值变成所述变化后数据值。

5.根据权利要求1所述的ETL任务中指标变更的检测方法，其特征在于，还包括：

比较所述变更前目标表集合和所述变更后目标表集合的共有目标表；

找出变更前共有目标表中包含而变更后共有目标表不包含的指标集合，这些指标为被下线指标集合。

6.根据权利要求1-5任一项所述的ETL任务中指标变更的检测方法，其特征在于，还包括：

根据预先存储的指标依赖关系，获取对发生变更的指标有直接或间接依赖关系的指标。

7.根据权利要求6所述的ETL任务中指标变更的检测方法，其特征在于，在所述获取ETL任务在变更前和变更后分别包括的数据操作指令之前，还包括：

初始化所述指标依赖关系。

8.根据权利要求7所述的ETL任务中指标变更的检测方法，其特征在于，所述初始化所述指标依赖关系包括：

针对ETL过程中的每一个ETL任务，获取所述ETL任务包括的数据操作指令；

解析所述数据操作指令，获取各个指标生成语句；

根据所述指标生成语句，获取所述指标生成语句中的目标指标和源指标，并将所述目标指标和源指标之间的关系作为所述指标依赖关系；所述目标指标直接依赖于源指标。