[发明专利]一种样本筛选方法、装置、设备及计算机介质

说明书

本发明公开了一种样本筛选方法、装置、设备及计算机介质，所述方法包括：获取已标注的参考样本集和无标注的待筛选样本集；将所述参考样本集输入到样本识别模型，得到样本识别结果；其中，所述样本识别模型通过训练样本集训练获得，所述样本识别结果包括标注结果和置信度；基于所述样本识别结果和所述参考样本集的标注标签，确定所述参考样本集中的目标参考样本；计算所述目标参考样本与所述待筛选样本集的特征相似度；根据所述特征相似度得到所述待筛选样本集中的目标样本。通过上述方法可在大量收集样本中快速筛选出高质量的目标样本，减少人工筛选工作，提高样本筛选效率。

技术领域

本发明涉及计算机技术领域，特别是涉及一种样本筛选方法、装置、设备及计算机介质。

背景技术

在计算机视觉领域中，深度学习模型近年来取得了突破性进展，而训练样本集的质量是决定机器学习模型处理能力的关键因素之一。

目前，对于训练样本集的获取主要靠人力无差别收集，这种无差别的样本收集方法使得训练集中往往存在大量低质量样本，低质量样本既影响对模型的训练效果，又影响模型的应用性能，且大大增加了样本筛选和标注所需的时间成本以及人力成本。

因此，亟需一种从大量未标注样本中获得质量较高的未标注样本的筛选方法。

发明内容

针对上述技术问题，本发明提供一种样本筛选方法，能够在大量样本中快速筛选出高质量的目标样本，减少人工筛选工作，提高样本筛选效率。

第一方面，本发明提供一种样本筛选方法，包括：

获取已标注的参考样本集和无标注的待筛选样本集；

将所述参考样本集输入到样本识别模型，得到样本识别结果；其中，所述样本识别模型通过训练样本集训练获得，所述样本识别结果包括标注结果和置信度；

基于所述样本识别结果和所述参考样本集的标注标签，确定所述参考样本集中的目标参考样本；

计算所述目标参考样本与所述待筛选样本集的特征相似度；

根据所述特征相似度得到所述待筛选样本集中的目标样本。

可选的，所述基于所述样本识别结果和所述参考样本集的标注标签，确定所述参考样本集中的目标参考样本，具体为：

获取所述参考样本集中每一样本经所述样本识别模型输出的标注结果和置信度；

将所述标注结果与对应的标注标签不一致且所述置信度满足第一阈值条件的样本，或所述置信度满足第二阈值条件的样本设置为目标参考样本。

可选的，所述计算所述目标参考样本与所述待筛选样本集的特征相似度，具体为：

通过所述样本识别模型中的中间层分别获取所述待筛选样本集和所述参考样本集的特征序列；

计算所述待筛选样本集的特征序列与所述参考样本集的特征序列之间的相似度。

可选的，所述计算所述待筛选样本集的特征序列与所述参考样本集的特征序列之间的相似度，具体为：

计算所述待筛选样本集的特征序列与所述参考样本集的特征序列之间的余弦相似度。

可选的，根据所述特征相似度得到所述待筛选样本集中的目标样本之后，还包括：

对所述目标样本进行标注，将标注后的所述目标样本增加至所述训练样本集；

利用增加了目标样本的所述训练样本集对所述样本识别模型进行迭代更新。

第二方面，本发明还提供一种样本筛选装置，包括：

样本获取模块，用于获取已标注的参考样本集和无标注的待筛选样本集；

样本识别模块，用于将所述参考样本集输入到样本识别模型，得到样本识别结果；其中，所述样本识别模型通过训练样本集训练获得，所述样本识别结果包括标注结果和置信度；基于所述样本识别结果和所述参考样本集的标注标签，确定所述参考样本集中的目标参考样本；