[发明专利]数据清洗方法及装置

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种数据清洗方法及装置。

背景技术

信息技术的飞速发展使得众多信息系统积累了海量的业务数据，数据分析、数据挖掘和人工智能等技术的逐步成熟使得这些数据转化为更好服务于业务的知识成为可能。数据分析、数据挖掘需要以数据整合为前提，而数据整合的首要工作是数据清洗，即识别并处理脏数据、保留干净的数据，以保证数据质量，进而学习出高质量的知识。

现有的数据清洗方法多依赖于人工的领域知识、经验和技能，根据各自对数据的学习、理解，主观地判别数据情况，再利用Excel、文本处理工具、简易的数据处理工具，或者编写相应的计算机程序脚本、代码，对数据进行清洗，以获得符合要求的数据。

然而，现有的数据清洗方法工作量较大，特别是多源异构、非结构化的数据，工作任务尤其繁重；通过人工的方式识别数据情况具有较强的主观性，清洗方法不够规范，清洗结果不统一。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种数据清洗方法，以实现数据的自动清洗，降低数据清洗的工作量和人工参与度，提高方法的复用性，解决现有技术中工作量大、人工参与度和主观性高、不规范的问题。

本发明的第二个目的在于提出一种数据清洗装置。

本发明的第三个目的在于提出另一种数据清洗装置。

本发明的第四个目的在于提出一种计算机程序产品。

本发明的第五个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种数据清洗方法，包括：

对待清洗的第一数据进行结构化处理，得到结构化的目标数据；所述目标数据中包括需要清洗的数据字段；

确定各数据字段对应的属性以及从属于各属性的清洗规则；

利用从属于各属性的清洗规则形成清洗规则集；

基于所述清洗规则集对所述目标数据进行清洗。

本发明实施例的数据清洗方法，通过对待清洗的第一数据进行结构化处理得到结构化的目标数据，确定各数据字段对应的属性以及从属于各属性的清洗规则，利用从属于各属性的清洗规则形成清洗规则集，基于清洗规则集对目标数据进行清洗。由此，能够实现数据的自动清洗，降低数据清洗的工作量和人工参与度，提高方法的复用性。

为达上述目的，本发明第二方面实施例提出了一种数据清洗装置，包括：

处理模块，用于对待清洗的第一数据进行结构化处理，得到结构化的目标数据；所述目标数据中包括需要清洗的数据字段；

确定模块，用于确定各数据字段对应的属性以及从属于各属性的清洗规则；

第一生成模块，用于利用从属于各属性的清洗规则形成清洗规则集；

清洗模块，用于基于所述清洗规则集对所述目标数据进行清洗。

本发明实施例的数据清洗装置，通过对待清洗的第一数据进行结构化处理得到结构化的目标数据，确定各数据字段对应的属性以及从属于各属性的清洗规则，利用从属于各属性的清洗规则形成清洗规则集，基于清洗规则集对目标数据进行清洗。由此，能够实现数据的自动清洗，降低数据清洗的工作量和人工参与度，提高方法的复用性。

为达上述目的，本发明第三方面实施例提出了另一种数据清洗装置，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现第一方面实施例所述的数据清洗方法。

为达上述目的，本发明第四方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令由处理器执行时，执行如第一方面实施例所述的数据清洗方法。

为达上述目的，本发明第五方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，当计算机程序被处理器执行时实现如第一方面实施例所述的数据清洗方法。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一实施例提出的数据清洗方法的流程示意图；

图2为本发明另一实施例提出的数据清洗方法的流程示意图；

图3为本发明又一实施例提出的数据清洗方法的流程示意图；

图4为本发明一实施例提出的数据清洗装置的结构示意图；