[发明专利]一种数据清洗方法和系统

摘要

本发明提供了一种数据清洗方法和系统，其中数据清洗方法包括从数据源中抽取数据至中间数据库，确定抽取到中间数据库的数据为数据对象；从中间数据库抽取数据对象，分析得到与各个数据对象分别对应的约束关系；适配数据对象的脏数据类型以及脏数据类型对应的数据特征，筛选脏数据类型和数据特征相适配的数据对象作为清洗对象；根据约束关系设置各个清洗对象的清洗顺序，按照清洗顺序将各个清洗对象依次添加至清洗队列中；匹配数据清洗模型中与各个清洗对象的脏数据类型对应的数据清洗方法，加载数据清洗模型，按照清洗顺序对清洗队列中的清洗对象依次进行清洗；将清洗后的清洗对象存入数据源。本发明的技术方案能够减少数据清洗的时间和错误率。

主权项

一种数据清洗方法，其特征在于，包括：根据数据源模型包含的数据在数据源中的存放地址，从所述数据源中抽取所述数据至中间数据库，确定抽取到所述中间数据库的数据为数据对象；从所述中间数据库中抽取所述数据对象，对所述数据对象的数据架构进行分析，得到与各个数据对象分别对应的约束关系；根据脏数据特征适配模型适配所述数据对象的脏数据类型以及脏数据类型对应的数据特征，筛选脏数据类型以及所述数据特征相适配的数据对象作为清洗对象，其中，所述脏数据特征适配模型包括脏数据类型以及脏数据类型对应的数据特征；根据所述约束关系，设置各个清洗对象的清洗顺序，按照所述清洗顺序将各个清洗对象依次添加至清洗队列中；匹配与各个清洗对象的脏数据类型分别对应的数据清洗方法，加载数据清洗模型，按照所述清洗顺序对所述清洗队列中的清洗对象依次进行清洗，其中，所述数据清洗模型包括与各种脏数据类型分别对应的清洗方法；将清洗后的所述清洗对象存入所述数据源。