[发明专利]一种数据清洗方法及装置

权利要求书

1.一种数据清洗方法，其特征在于，包括：

将待清洗数据和模型数据库中元数据模型进行比对，根据比对结果，获取所述待清洗数据的清洗规则，其中，所述模型数据库在每次数据清洗结束后进行更新；

根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果。

2.根据权利要求1所述的数据清洗方法，其特征在于，所述根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果的步骤之后，所述方法还包括：

根据所述清洗结果对所述数据模型库进行更新，得到更新后的模型数据库，以用于下一次数据清洗。

3.根据权利要求1所述的数据清洗方法，其特征在于，所述将待清洗数据和模型数据库中元数据模型进行比对，根据比对结果，获取所述待清洗数据的清洗规则的步骤之前，所述方法还包括：

根据任务队列的任务类型，对数据源中数据进行分类，得到分类后的数据；

对分类后的数据进行预处理，得到待清洗数据。

4.根据权利要求1所述的数据清洗方法，其特征在于，所述根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果的步骤之后，所述方法还包括：

根据所述清洗结果，对所述待清洗数据进行处理，若所述待清洗数据的清洗结果为清洗失败，则根据清洗失败信息，将所述待清洗数据发送到错误队列，以对所述待清洗数据进行清洗持久化处理。

5.根据权利要求1所述的数据清洗方法，其特征在于，所述根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果，包括：

根据所述清洗规则，对所述待清洗数据进行数据转换，并对数据转换后的待清洗数据进行数据清洗，其中，所述数据转换包括字段类型自动转换、字段映射转换、字典映射转换、字符串字段截取转换、合并转换和数值字段求和转换。

6.根据权利要求5所述的数据清洗方法，其特征在于，所述根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果，还包括：

根据所述清洗规则，对所述待清洗数据进行groovy脚本映射处理，并对groovy脚本映射处理后的待清洗数据进行数据清洗。

7.一种数据清洗装置，其特征在于，包括：

清洗规则生成模块，用于将待清洗数据和模型数据库中元数据模型进行比对，根据比对结果，获取所述待清洗数据的清洗规则，其中，所述模型数据库在每次数据清洗结束后进行更新；

数据清洗模块，用于根据所述清洗规则，对所述待清洗数据进行数据清洗，以得到所述待清洗数据的清洗结果。

8.根据权利要求7所述的数据清洗装置，其特征在于，所述装置还包括：

多任务清洗配置模块，用于根据多个待清洗数据之间的依赖关系，获取多任务清洗规则，以根据所述多任务清洗规则对多个待清洗数据进行数据清洗。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述数据清洗方法的步骤。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述数据清洗方法的步骤。