[发明专利]一种数据清洗方法及装置

说明书

本发明实施例提供一种数据清洗方法及装置，包括：将待清洗数据和模型数据库中元数据模型进行比对，根据比对结果，获取所述待清洗数据的清洗规则，其中，所述模型数据库在每次数据清洗结束后进行更新；根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果。本发明实施例通过在每一次数据清洗之后对模型数据库进行更新，使得数据清洗规则动态调整，从而提高了数据清洗的效果和质量，保证了数据清洗的准确性和完整性。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据清洗方法及装置。

背景技术

随着信息技术的发展，数据量级和价值密度日益增强，大数据成为蕴含高经济价值密度的资产。如何对大数据进行处理，挖掘出其经济价值成为当前的主要研究方向之一。数据清洗是对大数据进行挖掘的第一步，也是数据处理的基础。由于数据来源可能是不同的硬件和操作系统等，数据格式以及数据内容，存在标准不统一，冗余数据多等情况，导致数据源中难免出现“脏数据”，因此，需要对数据进行数据清洗，从而将这些“脏数据”清除。

数据清洗的目的是要找出并消除不符合规范以及数据挖掘过程中所不需要的数据，保证数据清洗后的数据以高质量、标准规范进行存储和管理，便于后续进行数据挖掘和决策分析等。目前传统的分布式数据清洗方法，主要包括几个步骤：对数据源的处理，主要是对一个或一组数据库进行简单处理，例如格式规范等简单操作；数据源服务器根据用户请求，将所需数据从数据仓库中取出；将取出的数据进行预处理，变成结构良好的数据；建立模型库，设立数据清洗规则；建立数据清洗引擎，用于分析原始数据和识别噪音等。

然而，现在的数据清洗技术，由于模型库是固定不变的，导致模型库中的数据清洗规则也是固定的，数据清洗引擎只是简单的基于模块库设立好的固定规则进行数据清洗，当面对复杂的海量数据时，数据清洗的效果和质量较差，具有局限性。

发明内容

针对现有技术存在的问题，本发明实施例提供一种数据清洗方法及装置。

第一方面，本发明实施例提供了一种数据清洗方法，包括：

将待清洗数据和模型数据库中元数据模型进行比对，根据比对结果，获取所述待清洗数据的清洗规则，其中，所述模型数据库在每次数据清洗结束后进行更新；

根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果。

进一步地，所述根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果的步骤之后，所述方法还包括：

根据所述清洗结果对所述模型数据库进行更新，得到更新后的模型数据库，以用于下一次数据清洗。

进一步地，所述将待清洗数据和模型数据库中元数据模型进行比对，根据比对结果，获取所述待清洗数据的清洗规则的步骤之前，所述方法还包括：

根据任务队列的任务类型，对数据源中数据进行分类，得到分类后的数据；

对分类后的数据进行预处理，得到待清洗数据。

进一步地，所述根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果的步骤之后，所述方法还包括：

根据所述清洗结果，对所述待清洗数据进行处理，若所述待清洗数据的清洗结果为清洗失败，则根据清洗失败信息，将所述待清洗数据发送到错误队列，以对所述待清洗数据进行清洗持久化处理。

进一步地，所述根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果，包括：

根据所述清洗规则，对所述待清洗数据进行数据转换，并对数据转换后的待清洗数据进行数据清洗，其中，所述数据转换包括字段类型自动转换、字段映射转换、字典映射转换、字符串字段截取转换、合并转换和数值字段求和转换。