[发明专利]基于元数据的智能化数据清洗方法及装置

权利要求书

1.基于元数据的智能化数据清洗方法，包括：

利用元数据管理工具从预先设置的质量检查规则模板中匹配出与源库数据相适应的数据质量检查规则模板；

利用匹配出的数据质量检查规则模板对源库数据进行检查，并生成数据质量报告；

根据匹配出的数据质量检查规则模板和所述数据质量报告，构建清洗任务脚本和清洗流程；

利用构建出的清洗任务脚本和清洗流程对源库数据进行清洗。

2.根据权利要求1所述的方法，其特征在于，所述的利用元数据管理工具从预置的数据质量检查规则模板中匹配出与源库数据相适应的数据质量检查规则模板包括：

根据源库的数据结构、数据字典、以及数据标准，利用挖掘算法识别出业务主键、业务关键字段、以及字段含义；

根据识别出的业务主键、业务关键字段、以及字段含义，匹配内置的质量检查规则模板，自动生成源库数据的数据质量检查规则。

3.根据权利要求1或2所述的方法，其特征在于，所述的数据质量报告包括对质量检查规则的满足情况和对字段数据的值域分析。

4.根据权利要求1或2所述的方法，其特征在于，在利用构建出的清洗任务脚本和清洗流程对源库数据进行清洗之后还包括：

根据清洗情况生成数据清洗报告。

5.根据权利要求1或2所述的方法，其特征在于，在利用构建出的清洗任务脚本和清洗流程对源库数据进行清洗之后还包括：

对于通过清洗无法修正的源库数据以标签的形式记录下来。

6.基于元数据的智能化数据清洗装置，包括：

数据质量检查规则构建模块，其配置成利用元数据管理工具从预先设置的质量检查规则模板中匹配出与源库数据相适应的数据质量检查规则模板；

源库数据检查模块，其配置成利用匹配出的数据质量检查规则模板对源库数据进行检查，并生成数据质量报告；

清洗任务脚本和清洗流程构建模块，其配置成根据匹配出的数据质量检查规则模板和所述数据质量报告，构建清洗任务脚本和清洗流程；和

清洗模块，其配置成利用构建出的清洗任务脚本和清洗流程对源库数据进行清洗。

7.根据权利要求6所述的装置，其特征在于，所述数据质量检查规则构建模块包括：

分析子模块，其配置成根据源库的数据结构、数据字典、以及数据标准，利用挖掘算法识别出业务主键、业务关键字段、以及字段含义；和

匹配子模块，其配置成根据识别出的业务主键、业务关键字段、以及字段含义，匹配内置的质量检查规则模板，自动生成源库数据的数据质量检查规则。

8.根据权利要求6或7所述的装置，其特征在于，所述的数据质量报告包括对质量检查规则的满足情况和对字段数据的值域分析。

9.根据权利要求6或7所述的装置，其特征在于，还包括：

清洗报告生成模块，其配置成根据清洗情况生成数据清洗报告。

10.根据权利要求6或7所述的装置，其特征在于，还包括：

标签模块，其配置成对于通过清洗无法修正的源库数据以标签的形式记录下来。