[发明专利]一种小规模可靠数据集驱动的噪声修正算法

说明书

本发明公开一种小规模可靠数据集驱动的噪声修正算法，包括S1.采用骨干网络作为特征提取器，并为之搭配两个并行的全连接层作为预测头，输入图像特征，可输出相应的预测概率分布；S2.使用元预测头的预测概率作为伪标签，利用伪标签修正网络图像中错误的标签，联合使用伪标签和网络标签类训练模型对高比例噪声进行缓解；S3.依靠选择网络有效选择出分布内噪声样本，并通过重标注重新利用；本发明算法能有效地缓解标签噪声问题，并缓解了部分类别存在的高比例噪声问题。

技术领域

本发明涉及高比例噪声修正技术领域，具体为一种小规模可靠数据集驱动的噪声修正算法。

背景技术

噪声数据集的复杂性体现在噪声比例在各个类别之间是非均衡的，噪声类别（分布内、分布外）也是非均衡的，并且噪声比例可能异常地高，标签噪声甚至可能淹没干净样本。这些复杂的实际情况大大增加了处理标签噪声的难度。解决策略的复杂性体现在可以不局限于仅使用深度神经网络模型本身来解决复杂的标签噪声问题，可以设计更贴近于现实应用的算法。在此背景下，部分研究者尝试借助干净可靠的数据集来为模型提供先验知识，以此在含噪的数据集中实现高性能的噪声净化。

在发表于2018年Conference on Neural Information Processing Systems会议上的“Using trusted data to train deep networks on labels corrupted by severenoise”文章中，提出了一种基于小规模干净样本的标签修正算法，用来克服高比例的标签噪声。该算法借助干净样本提供的先验知识，有效地在高噪声环境下估计了噪声转换矩阵，并使用噪声转换矩阵来修正模型的训练损失。在发表于2017年IEEE InternationalConference on Computer Vision会议上的“Learning from noisy labels withdistillation”文章中，使用了一个规模相对略大的干净训练集，训练了一个教师模型。然后利用知识蒸馏策略，让教师模型对更大规模的网络图像生成伪标签。最后，在网络训练集上，同时使用网络标签和生成的伪标签来训练一个学生模型。Li 等人在研究中表明联合使用两种标签训练会比单独使用其中一个的风险更小。在发表于2018年 InternationalConference on Machine Learning会议上的“Learning to reweight examples forrobust deep learning”文章和发表于2019年Conference on Neural InformationProcessing Systems会议上的“Learning an explicit mapping for sample weighting”文章中，都采用了适合小样本学习的元学习策略，使用一个小规模的数据集来训练一个重加权模型，降低标签噪声的权重，其中，一种是在每个训练周期动态地计算各个样本的权重，而另一种则训练一个模型来表示“损失-权重”映射函数，即对于一个样本的训练损失产生一个相应的权重。该算法不仅可以用于缓解标签噪声问题，还可以用来解决长尾分布和难样本学习等问题；由于借助了可靠的先验知识，上述算法都能较为高效地处理标签噪声问题；

借助先验知识来估计噪声转移矩阵的策略得益于可靠数据的引导，能够缓解高比例噪声的问题，在高噪声环境中较为准确地估计出噪声转移矩阵。然而该方法只能处理人工环境下的噪声数据集，即数据集内所有的标签噪声都是分布内的。这个缺点源自于标签修正策略的局限性，导致此算法实用性较差，无法处理包含了分布外噪声样本的现实环境中的噪声数据集；

现有技术将知识蒸馏策略从模型压缩领域扩展到了标签噪声学习任务上，先使用人工标注的干净数据集来训练一个教师模型，再用教师模型对网络训练集中的样本生成软标签来训练学生模型；由于伪标签是由教师模型提供的，所以教师模型的性能对于整个算法来说至关重要，使用小规模数据集训练的教师模型容易遭受过拟合问题，导致其输出的标签可靠性降低；所以该方法往往需要一个规模相对较大（相较于本发明算法使用的小元集而言）的干净训练集来训练可靠的教师模型，其干净样本的数据量大约是网络数据集的四分之一；对于大量可靠标签的需求限制了该方法的实用性。此外，该方法总共包含训练教师模型和学生模型两个阶段，比较耗时；