[发明专利]一种数据清洗方法和系统

权利要求书

1.一种数据清洗方法，其特征在于，包括：

根据数据源模型包含的数据在数据源中的存放地址，从所述数据源中抽取所述数据至中间数据库，确定抽取到所述中间数据库的数据为数据对象；

从所述中间数据库中抽取所述数据对象，对所述数据对象的数据架构进行分析，得到与各个数据对象分别对应的约束关系；

根据脏数据特征适配模型适配所述数据对象的脏数据类型以及脏数据类型对应的数据特征，筛选脏数据类型以及所述数据特征相适配的数据对象作为清洗对象，其中，所述脏数据特征适配模型包括脏数据类型以及脏数据类型对应的数据特征；

根据所述约束关系，设置各个清洗对象的清洗顺序，按照所述清洗顺序将各个清洗对象依次添加至清洗队列中；

匹配与各个清洗对象的脏数据类型分别对应的数据清洗方法，加载数据清洗模型，按照所述清洗顺序对所述清洗队列中的清洗对象依次进行清洗，其中，所述数据清洗模型包括与各种脏数据类型分别对应的清洗方法；

将清洗后的所述清洗对象存入所述数据源。

2.根据权利要求1所述的数据清洗方法，其特征在于，还包括：

判断清洗后的所述清洗对象是否满足数据质量标准模型中的数据清洗标准；

若所述清洗对象不满足所述数据清洗标准，则根据所述约束关系将所述清洗对象重新添加至所述清洗队列，重新执行按照所述清洗顺序对所述清洗对象进行清洗的步骤；

若所述清洗对象满足所述数据清洗标准，则将所述清洗对象存入所述数据源。

3.根据权利要求2所述的数据清洗方法，其特征在于，所述数据清洗标准包括数据格式标准、数据特征值范围标准和/或数据约束关系标准；所述判断清洗后的清洗对象是否满足数据质量标准模型中的数据清洗标准，包括：

判断清洗后的所述清洗对象的数据格式是否满足所述数据格式标准；

判断清洗后的所述清洗对象的数据特征值是否满足所述数据特征值范围标准；和/或判断清洗后的所述清洗对象的数据约束关系是否满足所述数据约束关系标准。

4.根据权利要求1所述的数据清洗方法，其特征在于，还包括：

根据所述数据对象的数据特征值和所述数据对象对应的约束关系，生成数据备份模型；

判断清洗后的清洗对象的数据特征值是否存在缺失；

若所述清洗后的清洗对象的数据特征值存在缺失，则根据所述数据备份模型中的数据特征值和约束关系对所述清洗对象的数据特征值进行恢复；

将恢复后的清洗对象存入所述数据源。

5.根据权利要求1所述的数据清洗方法，其特征在于，所述根据约束关系，设置各个清洗对象的清洗顺序，按照所述清洗顺序将各个清洗对象依次添加至清洗队列中，包括：

根据所述约束关系，确定各个清洗对象中数据特征值的约束等级；

按照约束等级由低到高的顺序，将各个清洗对象依次添加至所述清洗队列中。

6.一种数据清洗系统，其特征在于，包括：

数据抽取接口模块，用于根据数据源模型包含的数据在数据源中的存放地址，从所述数据源中抽取所述数据至中间数据库，确定抽取到所述中间数据库的数据为数据对象；

数据架构分析模块，用于从所述中间数据库中抽取所述数据对象，对所述数据对象的数据架构进行分析，得到与各个数据对象分别对应的约束关系；

数据类型及特征分析模块，用于根据脏数据特征适配模型适配所述数据对象的脏数据类型以及脏数据类型对应的数据特征，筛选脏数据类型以及所述数据特征相适配的数据对象作为清洗对象，其中，所述脏数据特征适配模型包括脏数据类型以及脏数据类型对应的数据特征；

数据清洗顺序设置模块，用于根据所述约束关系，设置各个清洗对象的清洗顺序，按照所述清洗顺序将各个清洗对象依次添加至清洗队列中；

数据清洗模块，用于匹配与各个清洗对象的脏数据类型分别对应的数据清洗方法，加载数据清洗模型，按照所述清洗顺序对所述清洗队列中的清洗对象依次进行清洗，其中，所述数据清洗模型中包括与各种脏数据类型分别对应的清洗方法；

数据存入模块，用于将清洗后的所述清洗对象存入所述数据源。