[发明专利]ETL数据处理过程的监控方法及其系统

权利要求书

1.一种ETL数据处理的监控方法，其特征在于，包括如下步骤：

根据ETL数据处理任务信息，确定ETL数据处理过程的输出数据的字段类型；

根据输出数据的字段类型，生成所述ETL数据处理过程的监控指标，所述监控指标指示按照指定方式对所述ETL数据处理过程的输出数据中的指定字段进行统计或运算；

根据生成的监控指标，对所述ETL数据处理过程的输出数据中的相应字段进行统计或运算，得到监控指标的结果值。

2.如权利要求1所述的方法，其特征在于，根据ETL数据处理任务信息，确定ETL数据处理过程的输出数据的字段类型，具体为：

解析所述ETL数据处理任务信息，得到该ETL数据处理任务所指示出的输出数据表的标识信息；

通过查询用于描述该标识信息所对应的输出数据表的元数据信息，获得该输出数据表中各字段的字段类型信息。

3.如权利要求1所述的方法，其特征在于，根据确定出的输出数据的字段类型生成的监控指标，包括以下之一或任意组合：

针对具有总量统计意义的数值型字段，将所述ETL数据处理过程的输出数据中该字段的数值进行累加；

针对具有平均值统计意义的数值型字段，将所述ETL数据处理过程的输出数据中该字段的数值求平均值。

4.如权利要求1所述的方法，其特征在于，根据ETL数据处理任务信息确定ETL数据处理过程的输出数据之后，还包括：根据确定出的输出数据，生成统计所述输出数据的所有数据记录的总数量的监控指标。

5.如权利要求1至4任一项所述的方法，其特征在于，得到监控指标的结果值之后，还包括：将得到的监控指标的结果值与所述ETL数据处理过程的监控指标的期望结果值进行比较，并根据比较结果对所述ETL数据处理过程的质量进行评价。

6.如权利要求5所述的方法，其特征在于，还包括：根据业务变化情况，对所述监控指标的期望结果值进行更新。

7.如权利要求1至4任一项所述的方法，其特征在于，所述ETL数据处理过程为数据抽取、清洗、转换和加载过程中的任一个或其组合。

8.一种ETL数据处理过程的监控系统，其特征在于，包括：

监控指标配置模块，用于根据ETL数据处理任务信息，确定ETL数据处理过程的输出数据的字段类型；以及，根据输出数据的字段类型，生成所述ETL数据处理过程的监控指标，所述监控指标指示按照指定方式对所述ETL数据处理过程的输出数据中的指定字段进行统计或运算；

监控处理模块，用于根据所述监控指标配置模块生成的监控指标，对所述ETL数据处理过程的输出数据中的相应字段进行统计或运算，得到监控指标的结果值。

9.如权利要求8所述的系统，其特征在于，所述监控指标配置模块具体用于：解析所述ETL数据处理任务信息，得到该ETL数据处理任务所指示出的输出数据表的标识信息；以及，通过查询用于描述该标识信息对应的输出数据表的元数据信息，获得该输出数据表中各字段的字段类型信息。

10.如权利要求8所述的系统，其特征在于，所述监控指标配置模块生成的监控指标，包括以下之一或任意组合：

针对具有总量统计意义的数值型字段，将所述ETL数据处理过程的输出数据中该字段的数值进行累加；

针对具有平均值统计意义的数值型字段，将所述ETL数据处理过程的输出数据中该字段的数值求平均值。

11.如权利要求8所述的系统，其特征在于，所述监控指标配置模块还用于：根据ETL数据处理任务信息确定ETL数据处理过程的输出数据之后，根据确定出的输出数据生成统计所述输出数据的所有数据记录的总数量的监控指标。

12.如权利要求8至11任一项所述的系统，其特征在于，所述监控处理模块还用于：得到监控指标的结果值之后，将得到的监控指标的结果值与所述ETL数据处理过程的监控指标的期望结果值进行比较，并根据比较结果对所述ETL数据处理过程的质量进行评价。

13.如权利要求12所述的系统，其特征在于，所述监控指标配置模块还用于：根据业务变化情况，对所述监控指标的期望结果值进行更新。