[发明专利]数据库清洗系统及方法

摘要

一种数据库清洗系统及方法，该方法包括如下步骤：设置数据转换字典，定义数据库中的脏数据及所述脏数据的修改规则；访问所述数据库，获取所述数据库的属性，从数据库中读取一行数据，并获取该行数据的属性，所述数据属性包括数据的编码格式、字符格式及字符长短；若所述读取的数据的编码格式不符合设定标准，则将该数据的编码格式变更为标准的编码格式；若所述读取的数据含有脏数据，则根据所述数据转换字典的设置，按照所述脏数据的修改规则，将所述数据中的脏数据修改为对应的新数据；对所述读取的数据进行标准化处理，将经过标准化处理后的新数据导入所述数据库中。利用本发明可以自动对数据库中的数据进行标准化处理。

主权项

1.一种数据库清洗系统，包括主机及数据库，所述数据库中存储有数据及该数据的属性，所述数据属性包括数据的编码格式、字符格式及字符长短，其特征在于，所述主机设置有数据转换字典，用于定义脏数据及所述脏数据的修改规则，该主机还包括：数据读取模块，用于访问所述数据库，获取所述数据库的属性，从数据库中读取一行数据，并获取该行数据的属性；编码格式变更模块，用于在所述数据读取模块读取的数据的编码格式不符合设定标准时，将该数据的编码格式变更为标准的编码格式；脏数据修改模块，用于在所述数据读取模块读取的数据含有脏数据时，根据所述数据转换字典的设置，按照所述脏数据的修改规则，将所述数据中的脏数据修改为对应的新数据；及数据标准化模块，用于对所述数据读取模块读取的数据进行标准化处理，将经过标准化处理后的新数据导入所述数据库中。