[发明专利]一种提高分类学习数据集质量方法、系统、装置及存储介质

说明书

本发明公开了一种提高分类学习数据集质量方法、系统、装置及存储介质，属于图像分类技术领域，方法包括：利用预设计的更新方法更新数据集；响应于检测到数据集中干净标签占比不提高，输出数据集；响应于检测到数据集中干净标签占比提高，再次利用预设计的更新方法更新数据集；所述预设计的更新方法，包括：通过锚点样本的网络输出获取标签的错误转移概率矩阵；根据标签的错误转移概率矩阵获取标签的错误率和权重，根据标签的错误率和权重获取数据集的加权平均错误率；对数据样本根据标签标注错误的概率大小进行排序，结合数据集的加权平均错误率筛选出错误标签样本，利用标签的错误转移概率矩阵修正错误标签样本的标签，更新数据集。

技术领域

本发明涉及一种提高分类学习数据集质量方法、系统、装置及存储介质，属于图像分类技术领域。

背景技术

神经网络在图像处理技术领域如图像分类与识别、对象检测等方面取得了巨大的进展，这得益于其能在高维数据中发现复杂结构的能力；通常情况下处理这些复杂的问题需要大量的标记数据集，然而准确可靠的大量标记数据集的获取往往是非常昂贵和耗时的；近年来，众包逐渐成为获取大量标记数据集的主要方案，其将数据样本分配给网络上的大量非专业标注者进行标注，然而各个标注者的能力和偏好不同，完成的标签会存在错误，例如一些生物医学图像，其样本标注往往需要专业性知识，非专业的标注者极有可能对样本进行错误标注，从而产生含错误标签的数据集，错误标签的存在会使得所训练分类器的性能变差。

现有技术利用深度网络的记忆特性对数据集中的错误数据进行筛选和去除以提高数据集的质量，但错误水平的确定是一种挑战，往往利用专家标注小部分数据集来估计整个数据集的错误水平，专家的引入使得数据处理的代价增大；同时将筛选出的错误标签数据去除，减小了数据集的规模，使得网络训练的充分性失去了保障。

发明内容

本发明的目的在于提供一种提高分类学习数据集质量方法、系统、装置及存储介质，在保证数据量的情况下，最大限度的降低了数据集的错误水平，改善了网络的泛化性能，提高了分类网络对应错误标签样本的能力。

为实现以上目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种提高分类学习数据集质量方法，包括：

利用预设计的更新方法更新数据集；响应于检测到数据集中干净标签占比不提高，输出数据集；响应于检测到数据集中干净标签占比提高，再次利用预设计的更新方法更新数据集；

所述预设计的更新方法，包括：

通过锚点样本的网络输出获取标签的错误转移概率矩阵；

根据标签的错误转移概率矩阵获取标签的错误率和权重，根据标签的错误率和权重获取数据集的加权平均错误率；

对数据样本根据标签标注错误的概率大小进行排序，结合数据集的加权平均错误率筛选出错误标签样本，利用标签的错误转移概率矩阵结合标签的权重修正错误标签样本的标签，更新数据集。

结合第一方面，进一步的，所述预设计的更新方法还包括获取锚点样本的步骤：

利用含错误标签的数据集直接训练网络，得到数据样本对应各类标签的条件概率，根据条件概率选择各类标签的锚点样本。

结合第一方面，进一步的，标签的错误转移概率矩阵通过如下方法获取：

其中，P为标签的错误转移概率矩阵，表示标签i错误标注为标签j的概率，c为标签的总类别数，i，j取1，…，c。

结合第一方面，进一步的，标签的错误率和权重通过如下方法获取：