[发明专利]一种数据清洗方法

权利要求书

1.一种数据清洗方法，其特征在于，包括以下步骤：

步骤1，获取待清洗的训练样本集合，对训练样本集合进行转码后存储到数据文件中；

步骤2，提取训练样本集合中第一行训练样本的数据，并将训练样本集合中第一行训练样本的数据转化成二维数组数据，以作为特征向量；

步骤3，对得到的特征向量进行聚类处理，通过欧式距离挑选出类别性质相近的数据，以确定训练样本集合中孤立的训练样本；

步骤4，基于所确定的孤立的训练样本，将异常、冗余的训练样本集合标注为离群点；

步骤5，删除离群点，对象再次聚类；

步骤6，响应于检测到针对目标数量训练样本中的训练样本的删除操作，删除上述操作所指示的训练样本，得到清洗后的训练样本集合；

步骤7，将清洗后的数据按照原顺序格式复制粘贴于新的数据文件中；

步骤8，重复步骤2至6，不断更新清洗后的样本数据。

2.如权利要求1所述的一种数据清洗方法，其特征在于，在步骤1中，所述数据文件为csv文件或者dat文件。

3.如权利要求2所述的一种数据清洗方法，其特征在于，在步骤2中，训练样本集合中第一行训练样本的数据通过numpy数据处理库以及ndrray处理函数转化成二维数组数据。

4.如权利要求3所述的一种数据清洗方法，其特征在于，所述数据清洗方法使用K近邻以及SVM算法制作分类模型与聚类模型。