[发明专利]聚焦于陌生样本的不平衡学习

说明书

聚焦于陌生样本的不平衡学习方法，可以用于基于深度神经网络的分类模型的不平衡学习和推理中。该方法将样本的网络logit输出值作为模型对于样本的熟悉程度的指标值，认为具有较低logit值的样本为模型的陌生样本。具体来说，在模型训练过程中，本发明中的损失函数为基于样本logit值的成本敏感损失函数：可分为实例级和类别级。本发明可以改善训练中类内样本的聚合特征，并减少注释错误对不平衡学习的负面影响。在模型的推理过程中，本发明采用一种偏移策略来实现模型的推理：先在验证集上基于logit的偏移性获得最佳分类器中的偏移参数，再根据该偏移参数在测试集上推理。采用该偏移策略可以纠正模型在推理过程中由于模型的偏移而引起的分类错误。

技术领域

本发明涉及机器学习，具体说，涉及一种聚焦于陌生样本的不平衡学习方法，可以用于基于深度神经网络的分类模型的不平衡学习和推理中。

背景技术

类不平衡指的是数据中不同类之间存在有数量上的不平衡。在过去几年中，随着机器学习不断发展，深度人工神经网络取得了很大的进展。深度神经网络模型总是在精心设计的数据集上进行训练，这些数据集通常是分布平衡的。然而，在现实世界中，由于物体、事件和行为出现的频率不同，类不平衡数据在真实的训练场景中普遍存在。如果在训练过程中没有修正机制，数据集中的不平衡特征将导致深度神经网络模型对小类的识别性能低。随着深度学习的广泛应用，如何从类不平衡的或长尾分布的数据集中学习高性能的模型成为了一个亟待解决的问题。

目前存在一些解决类不平衡问题的方法，可以分为基于数据的方法和基于算法的方法。基于数据的方法中，一个常见的方式是通过对小类的过采样、对大类的欠采样或它们的组合来重新采样训练数据，但这将改变数据的分布。另一种方式是分类器的集合，每个分类器都是从原始数据集的不同样本训练得到的。近年来，为了更好地学习数据集的分布，研究者们还通过样本生成的方式来扩展数据集，从而提升模型的性能。基于算法的方法中，成本敏感损失函数往往被广泛采用，通过为每个类或每个样本引入成本(权重)来直接或间接地强调/抑制小类/大类的重要性，从而解决不平衡学习的问题。与基于数据的方法相比，这类方法很直观，更容易实现，在深度学习中被广泛使用。在广泛使用的成本敏感损失函数中，成本是基于样本的损失或类概率。然而，这些方法只利用了类别之间的分类特征，丢弃了类别内部的聚类特征，并将标注的错误引入到成本敏感损失函数的计算中，容易导致模型次优。另外，在样本稠密标注的任务中，例如计算机视觉中的图像分割任务，由于样本标注的工作量大且枯燥乏味，标注的轮廓往往离真实轮廓有几个像素的偏差，从而在目标轮廓的附近产生大量的错误标注样本。在现有的基于损失或类概率的成本敏感损失函数中，这些标注错误会被引入到成本敏感损失函数的计算中来，影响到训练过程中模型性能的提升。

发明内容

聚焦于陌生样本的不平衡学习方法，可以用于基于深度神经网络的分类模型的不平衡学习和推理中。该方法将样本的网络logit输出值作为模型对于样本的熟悉程度的指标值，认为具有较低logit值的样本为模型的陌生样本。具体来说，在模型的训练过程中，其损失函数为基于样本logit值的成本敏感损失函数；在模型的推理过程中，采用一种偏移策略来实现模型的推理：先在验证集上基于logit的偏移性获得最佳分类器中的偏移参数，再根据该偏移参数在测试集上推理。

采用聚焦于陌生样本学习的思想，分别为将传统的交叉熵损失函数改进为实例级的聚焦于陌生样本的成本敏感损失函数(Instance-level Focal stranger loss,IFSL)，将传统的基于类频率成本的平衡交叉熵损失函数(Cross Entropy Based on classFrequency,BCE_F)改进为类别级的聚焦于陌生样本的成本敏感损失函数(Class-levelFocal stranger loss,CFSL)。

实例级聚焦于陌生样本的成本敏感损失函数IFSL的计算公式为