[发明专利]数据清洗方法及装置

说明书

本申请提供一种数据清洗方法及装置，涉及数据处理技术领域，其中方法包括：获取多个待清洗数据；根据所述多个待清洗数据的属性信息，将所述多个待清洗数据划分为至少一个类别的待清洗数据；分别从每个类别的待清洗数据中抽取部分中间数据；使用存储的多个预设数据清洗规则分别对每个类别的中间数据进行清洗，根据清洗结果确定每个类别的待清洗数据对应的数据清洗规则；使用所述每个类别的待清洗数据对应的数据清洗规则，对所述多个待清洗数据中该类别的待清洗数据进行清洗。本申请提供的数据清洗方法及装置，能够提高对数据进行清洗的效率。

技术领域

本申请涉及数据处理技术领域，其中，本申请尤其涉及一种数据清洗方法及装置。

背景技术

目前，随着计算机技术的不断发展，网络内容提供商需要对海量数据进行归纳、分析并进行处理后，得到客户需要的信息。而网络内容提供商在基于网络数据进行分析时，由于网络上数据的多元化、各数据表达方式无法完全统一，因此需要对数据进行例如数据清洗的预处理之后，才能将预处理后结构化的数据用于后续提供数据产品或者构建知识图谱等应用中。

现有技术中，在对数据进行数据清洗时，首先需要数据分析工程师根据待清洗的数据的特征后人工制定数据的清洗策略，随后再由软件开发工程师基于清洗策略编写清洗程序，最终由清洗程序实现对数据的清洗。

但是，当需要清洗的数量较大时，对人工制定清洗策略的方式带来极大的挑战，需要数据分析工程师识别大量的数据后才能制定清洗策略，同时，越多的数据也会更多不同的清洗策略，也对软件开发工程师编写清洗程序提出了更多的要求，造成了现有技术中对大量的数据进行清洗时耗时又耗力，严重降低了对数据进行清洗的效率。

发明内容

本申请提供一种数据清洗方法及装置，以克服现有技术中数据清洗效率较低的问题。

本申请第一方面提供一种数据清洗方法，包括：获取多个待清洗数据；根据所述多个待清洗数据的属性信息，将所述多个待清洗数据划分为至少一个类别的待清洗数据；分别从每个类别的待清洗数据中抽取部分中间数据；使用存储的多个预设数据清洗规则分别对每个类别的中间数据进行清洗，根据清洗结果确定每个类别的待清洗数据对应的数据清洗规则；使用所述每个类别的待清洗数据对应的数据清洗规则，对所述多个待清洗数据中该类别的待清洗数据进行清洗。

综上，本实施例提供的数据清洗方法能够通过电子设备对获取的多个待清洗数据进行分类并抽样后，根据预设数据清洗规则对每个类别的中间数据的清洗结果，确定每个类别对应的数据清洗规则，从而可以根据所确定的数据清洗规则再对多个待清洗数据整体按照不同类别进行清洗，最终实现对多个待清洗数据的清洗。因此，可以由电子设备主动确定对不同类别的待清洗数据的清洗规则，而不需要数据分析工程师识别大量数据后制定清洗策略，也不需要软件开发工程师编写数据清洗程序，减少了现有技术中对数据清洗时所投入的时间和人力，从而通过一种更加智能化的数据清洗方法，提高了对数据进行清洗时的效率。

在本申请第一方面一实施例中，所述使用存储的多个预设数据清洗规则分别对每个类别的中间数据进行清洗，根据清洗结果确定每个类别的待清洗数据对应的数据清洗规则，包括：针对每个类别的中间数据，使用所述多个预设数据清洗规则分别进行清洗，并分别计算所述多个预设数据清洗规则对所述中间数据进行清洗的第一清洗完成率；确定最高的第一清洗完成率对应的预设数据清洗规则，为该类别的待清洗数据对应的数据清洗规则。

综上，本实施例提供的数据清洗方法中在确定每个类别待清洗数据对应的数据清洗规则时，仅仅根据每个类别所抽样得到的中间数据进行预清洗，并根据多个预设数据清洗规则对中间数据的清洗结果确定每个类别对应的数据清洗规则后，再实际对多个待清洗数据进行清洗，还使得本申请提供的数据清洗方法具有更小的计算量、更快的计算速度，能够实时确定不同类别对应的数据清洗规则，具有较强的灵活性，还进一步提高了对数据进行清洗时的效率。