[发明专利]一种样本数据清洗方法及系统

权利要求书

1.一种样本数据清洗方法，其特征在于，所述方法包括：

S1、提供一测试图片集，根据聚类分析算法对所述测试图片集进行聚类，获取正样本测试图片集和负样本测试图片集；

S2、根据所述正样本测试图片集和负样本测试图片集，训练得到细粒度二分类器；

S3、根据所述细粒度二分类器对待清洗图片数据进行类别预测，获取每一张待清洗图片数据的类别预测的置信度；

S4、根据一预设的置信度区间及所述每一张待清洗图片数据的类别预测的置信度，进行样本数据清洗。

2.如权利要求1所述的样本数据清洗方法，其特征在于，所述测试图片集获取的步骤包括：

利用网络爬虫，获取初始测试图片集；

根据一预设的粗粒度二分类器，对所述初始测试图片集进行训练，获取所述测试图片集。

3.如权利要求1所述的样本数据清洗方法，其特征在于，所述步骤S1还包括：所述聚类分析算法为K-means算法。

4.如权利要求3所述的样本数据清洗方法，其特征在于，所述步骤S1还包括：

S10、将所述图片数据集分为k类，并从所述测试图片集中选取k张典型图片作为每一类的初始聚类中心；

S11、计算所述测试图片集中的每一张图片与每一类的初始聚类中心的距离，并根据最小距离形成初始的聚类中心值，完成一次迭代；

S12、重复执行步骤S11迭代过程，直至计算出的聚类中心值等于原中心值，得到每一类的聚类中心；

S13、计算每张图片与每一类的聚类中心的距离，将距离最近的图片构成正样本测试图片集，将距离最远的图片构成负样本集，其中，所述正样本测试图片集数量和负样本测试图片集数量一致。

5.如权利要求1所述的样本数据清洗方法，其特征在于，所述步骤S3还包括：根据一预设的粗粒度二分类器，对所述待清洗数据进行训练，获取待清洗的初始数据。

6.如权利要求1所述的样本数据清洗方法，其特征在于，所述步骤S4包括：

设置一置信度区间；

根据所述每一张待清洗图片数据的类别预测的置信度及所述置信度区间，将所述待清洗图片数据归类到对应的置信度集合。

7.如权利要求6所述的样本数据清洗方法，其特征在于，所述步骤S4还包括：

获取置信度等级达到预设等级的置信度集合中的图片数据作为正样本图片数据。

8.一种样本数据清洗系统，其特征在于，所述系统包括：

聚类模块，用于提供一测试图片集，根据聚类分析算法对所述测试图片集进行聚类，获取正样本测试图片集和负样本测试图片集；

训练模块，用于根据所述正样本测试图片集和负样本测试图片集，训练得到细粒度二分类器；

分类模块，用于根据所述细粒度二分类器对待清洗图片数据进行类别预测，获取每一张待清洗图片数据的类别预测的置信度；

清洗模块，用于根据一预设的置信度区间及所述每一张待清洗图片数据的类别预测的置信度，进行样本数据清洗。

9.如权利要求8所述的样本数据清洗系统，其特征在于，所述聚类模块还包括：

获取单元，用于利用网络爬虫，获取初始测试图片集；

粗粒度二分类器单元，用于根据一预设的粗粒度二分类器，对所述初始测试图片集进行训练，获取所述测试图片集。

10.如权利要求8所述的样本数据清洗系统，其特征在于，所述清洗模块包括：

设置单元，用于设置一置信度区间；

统计单元，用于根据所述每一张待清洗图片数据的类别预测的置信度及所述置信度区间，将所述待清洗图片数据归类到对应的置信度集；

正样本单元，用于获取置信度等级达到预设等级的置信度集合中的图片数据作为正样本图片数据。