[发明专利]一种数据清洗的方法和装置

说明书

本申请提供一种数据清洗的方法和装置。一种数据清洗的方法，预先设有标准数据元与清洗规则之间的对应关系，包括：接收清洗任务，所述清洗任务中包括待清洗数据；获取所述待清洗数据中各字段的属性；判断所述字段的属性是否匹配所述对应关系中的标准数据元；若匹配，则获取所述标准数据元对应的清洗规则；采用所述清洗规则对匹配标准数据元的字段进行清洗。本申请提供的数据清洗的方法，相比于现有技术可提高数据清洗的效率。

技术领域

本申请涉及数据处理领域，特别涉及一种数据清洗的方法和装置。

背景技术

随着大数据逐渐渗透各个行业，数据的种类和数量都在不断地增加。高质量的数据对企业的决策、业务支撑起着关键作用，而低质量的数据则可能会影响业务或导致项目失败，基于此，越来越多的企业开始对海量数据进行清洗，以从中挖掘有价值的数据。

数据清洗可以检测数据的一致性、处理无效值和缺失值、删除重复信息、纠正错误等等。现有技术中可以由操作人员手动建立数据清洗规则，比如针对不同的数据表分别建立对应的清洗规则，但由于实际情况下需要清洗的数据表的数量可能达到数万张、数十万张，为每个数据表都建立清洗规则显然会导致消耗大量的人力，导致数据清洗效率低下。

发明内容

有鉴于此，本申请提供一种数据清洗的方法和装置。

具体地，本申请是通过如下技术方案实现的：

一种数据清洗的方法，预先设有标准数据元与清洗规则之间的对应关系，所述方法包括：

接收清洗任务，所述清洗任务中包括待清洗数据；

获取所述待清洗数据中各字段的属性；

判断所述字段的属性是否匹配所述对应关系中的标准数据元；

若匹配，则获取所述标准数据元对应的清洗规则；

采用所述清洗规则对匹配标准数据元的字段进行清洗。

一种数据清洗的装置，预先设有标准数据元与清洗规则之间的对应关系，所述装置包括：

接收单元，用于接收清洗任务，所述清洗任务中包括待清洗数据；

属性获取单元，用于获取所述待清洗数据中各字段的属性；

判断单元，用于判断所述字段的属性是否匹配所述对应关系中的标准数据元；

规则获取单元，用于若匹配，则获取所述标准数据元对应的清洗规则；

清洗单元，用于采用所述清洗规则对匹配标准数据元的字段进行清洗。

一种数据清洗的装置，预先设有标准数据元与清洗规则之间的对应关系，所述装置包括：

处理器；

用于存储机器可执行指令的存储器；

其中，通过读取并执行所述存储器存储的与模型的训练逻辑对应的机器可执行指令，所述处理器被促使：

接收清洗任务，所述清洗任务中包括待清洗数据；

获取所述待清洗数据中各字段的属性；

判断所述字段的属性是否匹配所述对应关系中的标准数据元；

若匹配，则获取所述标准数据元对应的清洗规则；

采用所述清洗规则对匹配标准数据元的字段进行清洗。

附图说明

图1是本申请一示例性实施例示出的一种数据清洗的方法的流程示意图；

图2是本申请一示例性实施例示出的另一种数据清洗的方法的流程示意图；