[发明专利]一种数据清洗方法和系统

说明书

技术领域

本发明涉及电力系统技术领域，更为具体地说，涉及一种数据清洗方法和系统。

背景技术

随着数据仓库技术与数据挖掘技术的广泛应用和发展，业内对如何通过大量数据进行分析决策的过程有了更高的要求。目前在分析决策过程中，企业更多关注的是如何在现有大量数据的背后挖掘出更有用的隐藏信息以及如何利用这些信息来指导和预测企业未来的发展。

在基于历史数据的数据仓库的基础上为企业的发展进行指导和预测时，数据的质量问题变得非常关键。根据“垃圾进，垃圾出”原理，数据仓库中的数据经常会存在数据缺失、数据噪声、数据不一致和数据冗余等质量问题。这些存在质量问题的污点数据往往会导致漫长的响应时间和昂贵的操作费用，并且会影响到从数据中导出规则的导出准确性和从数据中挖掘隐藏信息的挖掘模式的正确性，进而使决策支持系统产生误导决策。

企业对存在质量问题的污点数据处理的需求与日俱增，对数据清洗的要求也越来越高。在传统的污点数据清洗工作中，主要还是依赖人工对不同数据库中的数据进行人工处理。这样的数据清洗方式不仅会耗费大量的时间，而且由于不可控因素太多，数据清洗的错误率也会增加，导致数据质量的提高程度不高、可靠性不强。

发明内容

本发明的目的是提供一种数据清洗的技术方案，以解决背景技术中所介绍的现有技术中依靠人工清洗数据导致的耗费时间、数据清洗的错误率增加的问题。

为了解决上述技术问题，本发明提供如下技术方案：

本发明提供了一种数据清洗方法，所述数据清洗方法包括：

根据数据源模型包含的数据在数据源中的存放地址，从所述数据源中抽取所述数据至中间数据库，确定抽取到所述中间数据库的数据为数据对象；

从所述中间数据库中抽取所述数据对象，对所述数据对象的数据架构进行分析，得到与各个数据对象分别对应的约束关系；

根据脏数据特征适配模型适配所述数据对象的脏数据类型以及脏数据类型对应的数据特征，筛选脏数据类型以及所述数据特征相适配的数据对象作为清洗对象，其中，所述脏数据特征适配模型包括脏数据类型以及脏数据类型对应的数据特征；

根据所述约束关系，设置各个清洗对象的清洗顺序，按照所述清洗顺序将各个清洗对象依次添加至清洗队列中；

匹配与各个清洗对象的脏数据类型分别对应的数据清洗方法，加载所述数据清洗模型，按照所述清洗顺序对所述清洗队列中的清洗对象依次进行清洗，其中，所述数据清洗模型包括与各种脏数据类型分别对应的清洗方法；

将清洗后的所述清洗对象存入所述数据源。

优选地，所述数据清洗方法还包括：

判断清洗后的所述清洗对象是否满足数据质量标准模型中的数据清洗标准；

若所述清洗对象不满足所述数据清洗标准，则根据所述约束关系将所述清洗对象重新添加至所述清洗队列，重新执行按照所述清洗顺序对所述清洗对象进行清洗的步骤；

若所述清洗对象满足所述数据清洗标准，则将所述清洗对象存入所述数据源。

优选地，所述数据清洗标准包括数据格式标准、数据特征值范围标准和/或数据约束关系标准；所述判断清洗后的清洗对象是否满足数据质量标准模型中的数据清洗标准，包括：

判断清洗后的所述清洗对象的数据格式是否满足所述数据格式标准；

判断清洗后的所述清洗对象的数据特征值是否满足所述数据特征值范围标准；和/或

判断清洗后的所述清洗对象的数据约束关系是否满足所述数据约束关系标准。

优选地，所述数据清洗方法还包括：

根据所述数据对象的数据特征值和所述数据对象对应的约束关系，生成数据备份模型；

判断清洗后的清洗对象的数据特征值是否存在缺失；

若所述清洗后的清洗对象的数据特征值存在缺失，则根据所述数据备份模型中的数据特征值和约束关系对所述清洗对象的数据特征值进行恢复；

将恢复后的清洗对象存入所述数据源。

优选地，所述根据约束关系，设置各个清洗对象的清洗顺序，按照所述清洗顺序将各个清洗对象依次添加至清洗队列中，包括：

根据所述约束关系，确定各个清洗对象中数据特征值的约束等级；

按照所述约束等级由低到高的顺序，将各个清洗对象依次添加至所述清洗队列中。

根据本发明的第二方面还提供了一种数据清洗系统，所述数据清洗系统包括：