[发明专利]基于表征数据增强和损失再平衡的长尾图像识别方法

说明书

本发明公开了基于表征数据增强和损失再平衡的长尾图像识别方法，先长尾图像预处理：然后不同数据集按照不同的不平衡比例进行构造训练集和测试集；构造随机数据增强列表；获得每一个类别的采样权重，通过翻转头部类到尾部类的样本数量加上权重的缩放因子，再将该权重转为一个Tensor向量；将权重作为参数构建反采样训练集和加权损失的权重；建立长尾数据分类模型；构建一阶段的训练范式，使用双边分支结构自适应地从未加权分支转变到加权分支；训练初始，未加权分支学习长尾图像的特征，随着训练轮次的增加逐渐转移到使用重加权分类分支来学习如何对长尾数据进行分类，从而完成原始数据学习长尾图像的表征和对长尾图像进行识别。

技术领域

本发明属于计算机视觉技术领域，特别是涉及一种基于表征数据增强和损失再平衡的长尾图像识别方法。

背景技术

随着近年来人工智能的应用与发展，传统的使用人工进行图像分类方法逐渐被人工智能技术所取代，而在大自然中所有数据均为长尾数据分布，因此若要将人工智能技术落地于真实场景的图像分类中还有需解决问题，例如在野生动物图像分类中，收集拍摄一张稀有动物要等待非常长的时间，对于一些濒临灭绝的动物来说，甚至要好几年才能得到一张照片。但珍稀新动物的识别比数量多的动物的保护价值更大。如果我们的图像分类框架只能在数量多的动物类别上做得好，那么该方法将永远不会具有实际可用性。

因此长尾图像识别在实际的图像分类中是一个亟待解决的问题，它主要表现为：(1)每个类别所包含的数量分布不均衡使得系统更多关注于样本数量多的类别，忽视样本数量少的类别，造成样本数量少的类别的识别准确率非常低。(2)如果让系统过多的关注于样本数量少的类别，使系统一定程度上增加了样本数量少的类别的准确率，代价则是极大损害了样本呢数量多的类别的准确率。以上两个问题表现出长尾图像分类准确率的“蹊跷板”特性。

在长尾图像数据分布中，样本数量多的类别，将其定义为头部类，样本数量少的类别，将其定义为尾部类。由于尾部数据的多样性不足导致整个分类系统的训练会被头部类所主导，最终，系统会对头部类的分类具有一定的偏向。

本文将长尾分布识别的相关研究工作分为三个类别：数据重采样策略，损失重加权以及数据增强策略。

(1)数据重采样策略是一种直接从数据的层面解决长尾分布的预处理操作，目前已经有大量的重采样技术，具体可以细分为：尾部类上采样以及头部类下采样的方法。

尾部类上采样是指在模型训练时，增加尾部类数据的采样概率，以此来缓解类别之间的不平衡程度。但是这种方式只是简单地重复采样少量的尾部数据，并未引入额外的样本信息，因此对于尾部类识别精度的提升十分有限，并且容易造成模型对于尾部类的过拟合的问题。

头部类下采样是指在模型训练时，减少头部类数据的采样概率来缓解类别之间的不平衡程度。这类方法同样存在着弊端，即对头部类数据进行下采样的同时会损失头部类的数据，从而丢失了这些样本所包含的重要信息。针对这个问题，一些方法提出制定一些规则或策略来选择性地去除冗余的头部类样本。

我们针对从现实场景中长尾数据分类过程出发，探究分类框架对于图片数据表征的学习和分类框架中分类器的学习角度出发，实验了分类框架对于长尾数据的多种采样方法。最终发现基于长尾分布的图像分类框架中，造成长尾识别精度较差的主要原因是分类器的学习，并且重采样的策略会影响分类框架学习长尾数据的图像特征。

(2)损失重加权策略是从分类框架对于数据关注度方面解决长尾分布的预处理操作，目前已经有大量的损失重加权技术。损失重加权是通过在算法层面来解决长尾识别的一类方法。通过为不同的数据设计不同的损失大小来构建损失代价矩阵。损失重加权将各类别不同的错误分类数值融合到分类决策中，目的是引导分类器调整对错误分类的尾部类的权重。具体地，由于尾部类数据较少﹐尾部数据往往很容易被忽略﹐很容易被识别错误，因此，应该给予尾部类以更大的损失权重让分类框架更加关注于尾部类。与数据重采样策略相比，损失重加权能够将所有的数据充分利用，并且该类方法不会引入任何人工构造的样本，因此不会在训练中引入噪音。