[发明专利]一种样本数据清洗方法及系统

说明书

本发明涉及数据处理领域，公开了一种样本数据清洗方法，所述方法包括：根据神经网络模型，获取测试图片集中的每一张测试图片的多维测试特征向量；获取选取的k张典型图片中的多维参考特征向量；根据K最近邻算法、所述多维测试特征向量和多维参考特征向量，生成正样本测试图片集和负样本测试图片集，并训练得到细粒度二分类器；根据所述细粒度二分类器对待清洗图片数据进行类别预测，获取每一张待清洗图片数据的类别预测的置信度；根据一预设的置信度区间及所述每一张待清洗图片数据的类别预测的置信度，进行样本数据清洗。本发明还公开了一种样本数据清洗系统。根据本发明可以得到改进的正样本测试图片集和样本图片集，提高原始图像数据的准确率。

技术领域

本发明涉及数据处理领域，尤其涉及一种样本数据清洗方法及系统。

背景技术

随着深度学习技术在图像识别领域中取得的突破性进展，目前神经网络已经成为主流的图像识别领域的应用算法。神经网络模型算法的优点在于训练模型时不需要使用任何人工标注的特征,可以自动探索输入变量所隐含的特征，同时网络的权值共享特性，大大降低了模型的复杂度，减少了权值的数量。这些优点在网络的输入是图像时表现的尤为明显，原始图像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。

但是神经网络是一种监督学习算法，需要海量的带有准确标签的图片数据训练才能得到很好的识别准确率。为获取训练神经网络模型所需的大量图像样本数据，最便捷的方式是通过网络获取，采用网络爬虫的方法，网络爬虫能够按照设定的条件将符合该条件的信息从互联网的海量信息中抓取出来，然后进行人工筛选和清洗，带来的问题是，工作量异常巨大，筛选结果主观性较大，筛选结果容易出错，同时，采用错误的图像样本数据集堆神经网络进行训练，会带来错误的分类结果。因此，海量图片数据的清洗成为制约神经网络技术发展的瓶颈性问题。专利申请号为2018107215159一种清洗数据的方法及装置，在数据清洗的过程中，先挑出待清洗数据中大概率确定为正确的数据和错误的数据，中间有一些比较难以确认的数据再进行筛选，再挑选出正样本和负样本。

因此，本发明提出一种自动清洗样本数据的方法，基于K最近邻算法可以获取更好的图片特征提取，得到更优的正样本测试图片集和样本图片集，提高原始图像数据的准确率。

发明内容

本发明的目的在于提供一种样本数据清洗方法及系统，得到更优的正样本测试图片集和样本图片集，实现了自动化清洗数据，。

为实现上述目的，本发明提供了一种样本数据清洗方法，所述方法包括：提供一测试图片集，根据一神经网络模型，对所述测试图集进行训练，获取每一张测试图片所对应的多维测试特征向量；从所述测试图片集中选取k张典型图片，并根据所述神经网络模型，对所述典型图片进行训练，获取每一张典型图片所对应的多维参考特征向量；根据K最近邻算法、所述多维测试特征向量和多维参考特征向量，生成正样本测试图片集和负样本测试图片集；根据所述正样本测试图片集和负样本测试图片集，训练得到细粒度二分类器；根据所述细粒度二分类器对待清洗图片数据进行类别预测，获取每一张待清洗图片数据的类别预测的置信度；根据一预设的置信度区间及所述每一张待清洗图片数据的类别预测的置信度，进行样本数据清洗。基于K最近邻算法可以获取更好的图片特征提取，得到更优的正样本测试图片集和样本图片集，大幅度降低了人工工作量，减少人工筛选的主观性导致数据筛选出错，提高神经网络模型的鲁棒性。

可选的，所述测试图片集获取的步骤包括：利用网络爬虫，获取初始测试图片集；根据一预设的粗粒度二分类器，对所述初始测试图片集进行训练，获取所述测试图片集。通过粗粒度二分类器，对海量的图片数据做初始分类，为后续细粒度分类器的训练提供准确地样本图片数据。

可选的，所述步骤S3包括：将所述多维参考特征向量标记为其中，k表示典型图片的数量，p表示维数；将所述多维测试特征向量标记为其中，n表示测试图片的数量，p表示维数；根据欧式距离，分别计算每一张测试图片与每一张典型图片的距离，公式为：