[发明专利]数据清洗方法及数据清洗装置

权利要求书

1.一种数据清洗方法，其特征在于，包括：

获取待清洗的原始样本数据；

确定对所述原始样本数据进行清洗的至少一种数据筛选机制，并获取用户根据所述原始样本数据对每种所述数据筛选机制设定的筛选值；

根据所述至少一种数据筛选机制和用户设定的所述筛选值对所述原始样本数据进行筛选，以对所述原始样本数据进行清洗。

2.根据权利要求1所述的数据清洗方法，其特征在于，在所述至少一种数据筛选机制包括样本剔除机制、且所述筛选值包括目标样本特征的情况下，对所述原始样本数据进行筛选的步骤，包括：

对所述原始样本数据进行分析，以得到所述原始样本数据中的至少一个样本特征和每个样本特征对应于的样本数据；

将与所述目标样本特征相对应的样本数据作为筛选出的样本数据，并删除所述原始样本数据中的其它样本数据。

3.根据权利要求1所述的数据清洗方法，其特征在于，在所述至少一种数据筛选机制包括评分矩阵筛选、且所述筛选值包括评分矩阵题目的起止位置的情况下，对所述原始样本数据进行筛选的步骤，包括：

针对所述原始样本数据中的任一样本数据，计算所述任一样本数据中的评分矩阵题目的答题数；

判断所述答题数是否等于所述任一样本数据中的评分矩阵题目的总数目；

若所述答题数等于所述总数目，则计算所述任一样本数据对应的评分矩阵的方差，并根据所述任一样本数据对应的评分矩阵的方差确定是否将所述任一样本数据从所述原始样本数据中删除；

若所述答题数不等于所述总数目，则将所述任一样本数据从所述原始样本数据中删除。

4.根据权利要求3所述的数据清洗方法，其特征在于，根据所述任一样本数据对应的评分矩阵的方差确定是否将所述任一样本数据从所述原始样本数据中删除的步骤，包括：

若所述任一样本数据对应的评分矩阵的方差为0，则将所述任一样本数据从所述原始样本数据中删除；

若所述任一样本数据对应的评分矩阵的方差不为0，则在所述原始样本数据中保留所述任一样本数据。

5.根据权利要求1所述的数据清洗方法，其特征在于，在所述至少一种数据筛选机制包括作答时间筛选、且所述筛选值包括作答时间存储位置的情况下，对所述原始样本数据进行筛选的步骤，包括：

针对所述原始样本数据中的任一样本数据，根据所述作答时间存储位置获取所述任一样本数据的作答时间；

判断所述任一样本数据的作答时间是否与所述任一样本数据对应的作答标准时间相匹配；

若所述任一样本数据的作答时间与所述作答标准时间不匹配，则将所述任一样本数据从所述原始样本数据中删除；

若所述任一样本数据的作答时间与所述作答标准时间相匹配，则在所述原始样本数据中保留所述任一样本数据。

6.根据权利要求5所述的数据清洗方法，其特征在于，还包括：

在获取到所述原始样本数据之后，将所述原始样本数据中答题数相同的样本数据归为同一组，以得到至少一组样本数据；

针对所述至少一组样本数据中的任一组样本数据，计算所述任一组样本数据的平均作答时间和所述任一组样本数据的作答时间的标准差；

根据所述任一组样本数据的平均作答时间、所述任一组样本数据的作答时间的标准差和所述任一组样本数据中的每个样本数据的作答时间，计算所述每个样本数据对应的作答标准时间。

7.根据权利要求6所述的数据清洗方法，其特征在于，根据以下公式计算所述任一组样本数据中的每个样本数据对应的作答标准时间：

其中，Z表示所述每个样本数据对应的作答标准时间，x表示所述每个样本数据的作答时间，表示所述任一组样本数据的平均作答时间，δ表示所述任一组样本数据的作答时间的标准差。