[发明专利]一种数据清洗方法

说明书

本发明提供了一种数据清洗方法，包括：获取待清洗的训练样本集合，对训练样本集合进行转码后存储到数据文件中；提取并将训练样本集合中第一行训练样本的数据转化成二维数组数据，以作为特征向量；对得到的特征向量进行聚类处理，挑选出类别性质相近的数据，以确定训练样本集合中孤立的训练样本；基于孤立的训练样本，将异常、冗余的训练样本集合标注为离群点；删除离群点，对象再次聚类；响应于检测到针对目标数量训练样本中的训练样本的删除操作，删除上述操作所指示的训练样本，得到清洗后的训练样本集合；将清洗后的数据按照原顺序格式复制粘贴于新的数据文件中；不断更新清洗后的样本数据。本发明可以提高数据清洗的效率以及质量。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据清洗方法。

背景技术

目前，因调研数据和轻量级数据的多变性，对数据往往采取人工清洗的方式，其缺少统一、标准的清洗流程。而人工清洗数据的方式存在以下问题：1、数据清洗耗时长，人工清洗的方式依赖于操作人员进行数据判断，且判断后需要一步步完成清洗，需要大量时间；2、数据清洗容易出现遗漏，操作人员在进行大量数据操作时会因为某些条件遗漏而导致部分样本未被清洗；3、数据清洗结果不稳定，数据清洗的结果会因操作人员的不同而出现清洗结果不一致的问题。

经过大量检索发现一些典型的现有技术，如图3所示，申请号为201010578479.9的专利公开了一种数据清洗方法及装置，其可以同时对多类别数据进行清洗，适用于数据分类处理。又如图4所示，申请号为201610959853.7的专利公开了一种海量数据的清洗方法和系统，其用于提高数据清洗的速度和效率。又如图5所示，申请号为201210289550.0的专利公开了一种海量数据的清洗方法及装置，其能够对海量数据进行有效的清洗。

可见，如何对数据进行清洗，其实际应用中的亟待处理的实际问题(如提高数据清洗的效率等)还有很多未提出具体的解决方案。

发明内容

为了克服现有技术的不足提供了一种数据清洗方法，本发明的具体技术方案如下：

一种数据清洗方法，其包括以下步骤：

步骤1，获取待清洗的训练样本集合，对训练样本集合进行转码后存储到数据文件中；

步骤2，提取训练样本集合中第一行训练样本的数据，并将训练样本集合中第一行训练样本的数据转化成二维数组数据，以作为特征向量；

步骤3，对步骤2得到的特征向量进行聚类处理，通过欧式距离挑选出类别性质相近的数据，以确定训练样本集合中孤立的训练样本；

步骤4，基于步骤3所确定的孤立的训练样本，将异常、冗余的训练样本集合标注为离群点；

步骤5，删除离群点，对象再次聚类；

步骤6，响应于检测到针对目标数量训练样本中的训练样本的删除操作，删除上述操作所指示的训练样本，得到清洗后的训练样本集合；

步骤7，将清洗后的数据按照原顺序格式复制粘贴于新的数据文件中；

步骤8，重复步骤2至6，不断更新清洗后的样本数据。

可选的，在步骤1中，所述数据文件为csv文件或者dat文件。

可选的，在步骤2中，训练样本集合中第一行训练样本的数据通过numpy数据处理库以及ndrray处理函数转化成二维数组数据。

可选的，所述数据清洗方法使用K近邻以及SVM算法制作分类模型与聚类模型。

本发明所取得的有益效果包括：

1、可以对原始样本数据进行标签化，进而根据调研目的，在样本数据中筛选出符合分析目标的样本群体点，保证数据结果的信度和效度；