[发明专利]一种样本数据清洗方法及系统

权利要求书

1.一种样本数据清洗方法，其特征在于，所述方法包括步骤：

S1、提供一测试图片集，根据一神经网络模型，对所述测试图集进行训练，获取每一张测试图片所对应的多维测试特征向量；

S2、从所述测试图片集中选取k张典型图片，并根据所述神经网络模型，对所述典型图片进行训练，获取每一张典型图片所对应的多维参考特征向量；

S3、根据K最近邻算法、所述多维测试特征向量和多维参考特征向量，生成正样本测试图片集和负样本测试图片集；

S4、根据所述正样本测试图片集和负样本测试图片集，训练得到细粒度二分类器；

S5、根据所述细粒度二分类器对待清洗图片数据进行类别预测，获取每一张待清洗图片数据的类别预测的置信度；

S6、根据一预设的置信度区间及所述每一张待清洗图片数据的类别预测的置信度，进行样本数据清洗；

所述步骤S3包括：

将所述多维参考特征向量标记为其中，k表示典型图片的数量，p表示维数；

将所述多维测试特征向量标记为其中，n表示测试图片的数量，p表示维数；

根据欧式距离，分别计算每一张测试图片与每一张典型图片的距离，公式为：

获取每一张测试图片与每一张典型图片的距离中的最小距离，公式为：

d(I_train-i)＝min{d(I_train-i,I_test-1),...d(I_train-i,I_test-k)}；

对所有测试图片的最小距离进行排序，公式为：

d_sorted＝sort{d(I_train-1),d(I_train-2),...d(I_train-n)}；

d_sorted中选择距离最小的N张测试图片构成正样本测试图片集；

d_sorted中选择距离最远的M张测试图片构成负样本测试图片集。

2.如权利要求1所述的样本数据清洗方法，其特征在于，所述测试图片集获取的步骤包括：

利用网络爬虫，获取初始测试图片集；

根据一预设的粗粒度二分类器，对所述初始测试图片集进行训练，获取所述测试图片集。

3.如权利要求2所述的样本数据清洗方法，其特征在于，所述步骤S3还包括：所述M和N的取值一样，并且所述测试集图片的数量大于2N。

4.如权利要求1所述的样本数据清洗方法，其特征在于，所述步骤S4还包括：根据一预设的粗粒度二分类器，对所述待清洗数据进行训练，获取待清洗的初始数据。

5.如权利要求1所述的样本数据清洗方法，其特征在于，所述步骤S6包括：

设置一置信度区间；

根据所述每一张待清洗图片数据的类别预测的置信度及所述置信度区间，将所述待清洗图片数据归类到对应的置信度集合。

6.如权利要求5所述的样本数据清洗方法，其特征在于，所述步骤S6包括：

获取置信度等级达到预设等级的置信度集合中的图片数据作为正样本图片数据。