[发明专利]一种样本数据清洗方法及系统

说明书

本发明涉及数据处理领域，公开了一种样本数据清洗方法，所述方法包括：提供一测试图片集，根据聚类分析算法对所述测试图片集进行聚类，获取正样本测试图片集和负样本测试图片集；根据所述正样本测试图片集和负样本测试图片集，训练得到细粒度二分类器；根据所述细粒度二分类器对待清洗图片数据进行类别预测，获取每一张待清洗图片数据的类别预测的置信度；根据一预设的置信度区间及所述每一张待清洗图片数据的类别预测的置信度，进行样本数据清洗。本发明还公开了一种样本数据清洗系统。根据本发明提出的技术方案，可以实现自动化清洗数据，提高原始图像数据的准确率。

技术领域

本发明涉及数据处理领域，尤其涉及一种样本数据清洗方法及系统。

背景技术

随着深度学习技术在图像识别领域中取得的突破性进展，目前神经网络已经成为主流的图像识别领域的应用算法。神经网络模型算法的优点在于训练模型时不需要使用任何人工标注的特征,可以自动探索输入变量所隐含的特征，同时网络的权值共享特性，大大降低了模型的复杂度，减少了权值的数量。这些优点在网络的输入是图像时表现的尤为明显，原始图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。

但是神经网络是一种监督学习算法，需要海量的带有准确标签的图片数据训练才能得到很好的识别准确率。为获取训练神经网络模型所需的大量图像样本数据，最便捷的方式是通过网络获取，采用网络爬虫的方法，网络爬虫能够按照设定的条件将符合该条件的信息从互联网的海量信息中抓取出来，然后进行人工筛选和清洗，带来的问题是，工作量异常巨大，筛选结果主观性较大，筛选结果容易出错，同时，采用错误的图像样本数据集堆神经网络进行训练，会带来错误的分类结果。因此，海量图片数据的清洗成为制约神经网络技术发展的瓶颈性问题。专利申请号为2018107215159一种清洗数据的方法及装置，在数据清洗的过程中，先挑出待清洗数据中大概率确定为正确的数据和错误的数据，中间有一些比较难以确认的数据再进行筛选，再挑选出正样本和负样本。

因此，本发明提出一种自动清洗样本数据的方法，降低人工清洗成本，提高原始图像数据的准确率。

发明内容

本发明的目的在于提供一种样本数据清洗方法及系统，实现了自动化清洗数据，提高原始图像数据的准确率。

为实现上述目的，本发明提供了一种种样本数据清洗方法，所述方法包括：提供一测试图片集，根据聚类分析算法对所述测试图片集进行聚类，获取正样本测试图片集和负样本测试图片集；根据所述正样本测试图片集和负样本测试图片集，训练得到细粒度二分类器；根据所述细粒度二分类器对待清洗图片数据进行类别预测，获取每一张待清洗图片数据的类别预测的置信度；根据一预设的置信度阈区间及所述每一张待清洗图片数据的类别预测的置信度，进行样本数据清洗。大幅度降低了人工工作量，减少人工筛选的主观性导致数据筛选出错，提高神经网络模型的鲁棒性。

可选的，所述测试图片集获取的步骤包括：利用网络爬虫，获取初始测试图片集；根据一预设的粗粒度二分类器，对所述初始测试图片集进行训练，获取所述测试图片集。通过粗粒度二分类器，对海量的图片数据做初始分类，为后续细粒度分类器的训练提供准确地样本图片数据。

可选的，所述步骤S1还包括：所述聚类分析算法为K-means算法。所述步骤S1还包括：将所述图片数据集分为k类，并从所述测试图片集中选取k张典型图片作为每一类的初始聚类中心；计算所述测试图片集中的每一张图片与每一类的初始聚类中心的距离，并根据最小距离形成初始的聚类中心值，完成一次迭代；重复执行步骤S11迭代过程，直至计算出的聚类中心值等于原中心值，得到每一类的聚类中心；计算每张图片与每一类的聚类中心的距离，将距离最近的图片构成正样本测试图片集，将距离最远的图片构成负样本集。所述正样本测试图片集数量和负样本测试图片集数量一致。根据聚类算法的聚类作用，获取正样本测试图片集和负样本测试图片集，为后续细粒度二分类器的提供训练集。