[发明专利]数据清洗方法及数据清洗装置

说明书

本发明提供了一种数据清洗方法及数据清洗装置，该数据清洗方法包括：获取待清洗的原始样本数据；确定对所述原始样本数据进行清洗的至少一种数据筛选机制，并获取用户根据所述原始样本数据对每种所述数据筛选机制设定的筛选值；根据所述至少一种数据筛选机制和用户设定的所述筛选值对所述原始样本数据进行筛选，以对所述原始样本数据进行清洗。本发明的技术方案能够实现对原始样本数据的全面清洗，并且能够降低数据清洗过程对操作人员的依赖，确保数据清洗结果的准确性与稳定性，同时也能够有效缩短数据清洗的时长。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据清洗方法及数据清洗装置。

背景技术

在用户的定量研究和轻量级数据的处理过程中，均需对数据进行清洗处理，以剔除异常数据，保证数据结果的信度和效度。目前，因调研数据和轻量级数据的多变性，对数据往往采取人工清洗的方式，缺少统一、标准的清洗流程，人工清洗的方式主要存在以下问题：

1、数据清洗耗时长，人工清洗的方式依赖于操作人员进行数据判断，且判断后需要一步步完成清洗，需要大量时间；

2、数据清洗容易出现遗漏，操作人员在进行大量数据操作时会因为某些条件遗漏而导致部分样本未被清洗；

3、数据清洗结果不稳定，数据清洗的结果会因操作人员的不同而出现清洗结果不一致的问题；

4、数据清洗过程不可回溯，当出现清洗失误时无法回查修正；

5、数据清洗结果核查费时费力，清洗完成后需对数据进行重新统计，核查数据清洗结果。

因此需要一种新的数据清洗方案来对数据进行清洗。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明的目的在于提供一种数据清洗方法及数据清洗装置，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一个方面，提供一种数据清洗方法，包括：

获取待清洗的原始样本数据；

确定对所述原始样本数据进行清洗的至少一种数据筛选机制，并获取用户根据所述原始样本数据对每种所述数据筛选机制设定的筛选值；

根据所述至少一种数据筛选机制和用户设定的所述筛选值对所述原始样本数据进行筛选，以对所述原始样本数据进行清洗。

在本发明的一种示例性实施例中，在所述至少一种数据筛选机制包括样本剔除机制、且所述筛选值包括目标样本特征的情况下，对所述原始样本数据进行筛选的步骤，包括：

对所述原始样本数据进行分析，以得到所述原始样本数据中的至少一个样本特征和每个样本特征对应于的样本数据；

将与所述目标样本特征相对应的样本数据作为筛选出的样本数据，并删除所述原始样本数据中的其它样本数据。

在本发明的一种示例性实施例中，在所述至少一种数据筛选机制包括评分矩阵筛选、且所述筛选值包括评分矩阵题目的起止位置的情况下，对所述原始样本数据进行筛选的步骤，包括：

针对所述原始样本数据中的任一样本数据，计算所述任一样本数据中的评分矩阵题目的答题数；

判断所述答题数是否等于所述任一样本数据中的评分矩阵题目的总数目；