[发明专利]一种数据清洗方法

摘要

本发明提供了一种数据清洗方法，包括：获取待清洗的训练样本集合，对训练样本集合进行转码后存储到数据文件中；提取并将训练样本集合中第一行训练样本的数据转化成二维数组数据，以作为特征向量；对得到的特征向量进行聚类处理，挑选出类别性质相近的数据，以确定训练样本集合中孤立的训练样本；基于孤立的训练样本，将异常、冗余的训练样本集合标注为离群点；删除离群点，对象再次聚类；响应于检测到针对目标数量训练样本中的训练样本的删除操作，删除上述操作所指示的训练样本，得到清洗后的训练样本集合；将清洗后的数据按照原顺序格式复制粘贴于新的数据文件中；不断更新清洗后的样本数据。本发明可以提高数据清洗的效率以及质量。