[发明专利]一种隐式语义数据增强方法

说明书

本发明公开了一种隐式语义数据增强方法。本发明第一阶段利用原始数据训练特征提取器和分类器，然后利用分类器构建知识图谱，并基于提取的特征计算每个类别的类中心和协方差矩阵；第二阶段利用构建的知识图谱识别出尾部类别的相似类别，然后将相似类别的特征变换方向迁移到每个尾部样本上进行特征变化。通过挖掘类别之间的相关关系，极大地丰富了尾部类别多样性。最后，对每个样本沿着迁移的协方差矩阵进行变化方向的无限次高斯分布采样可以获得无穷样本，通过优化无限样本损失函数的上界，得到一个新的基于推理的隐式语义数据增强损失进行模型训练。

技术领域

本发明涉及一种用于解决长尾分类的基于推理的隐式语义数据增强方法，属于计算机软 件技术领域。

背景技术

随着数据采集技术的快速发展，深度神经网络在大规模均衡分布的训练数据上可以取得 优异性能。然而，在现实场景中数据通常是呈长尾分布的，即大多数类别属于尾部类别仅占 有少量样本，少数头部类别具有大多数样本。近几年，针对长尾分布的数据图像分类是图像 领域的一个重要的任务，有效地利用不均衡的长尾数据，训练出好的分类器受到了越来越多 的关注。现有的方法一般是通过均衡化训练数据和数据增强技术来提高尾部类别的分类精度， 均衡化训练数据的策略一定程度上缓解了分类超平面严重向尾部类倾斜的现象，但是由于尾 部类别样本数目少，使用该策略很难提高尾部类的类内多样性，导致算法在尾部类别上极易 过拟合。数据增强方法可以提高样本的多样性，传统的数据增强方法通过对类内样本进行旋 转、裁剪或者线性插值获得新样本，然而这些新样本的多样性是严格受限的。因此，面对极 端不平衡的长尾数据，基于有限的样本丰富尾部类别的多样性是一个巨大挑战。

传统方案及其存在以下缺陷：

1.数据均衡化方法：

现有的数据均衡化策略主要重采样和重加权。重采样方法通过对尾部类别进行过采样， 或者对头部类别进行欠采样获得一个数据分布均匀的训练数据。重加权方法在保持原有数据 分布不变的情况下，在计算损失函数时给予尾部样本更大的惩罚以提高尾部样本的重要性。 这两种方法虽然保证了尾部样本可以有效地参与模型训练，但是有限的类内多样性将导致模 型在尾部类别上过拟合。

2.数据增强方法：

传统的数据增强方法包括翻转、平移、裁剪等，这种方式生成的新样本多样性受限于单 个样本。mixup操作通过线性组合两个样本生成新样本，虽然该方法打破了单个样本的限制， 可以生成与现有样本差异性较大的新样本，但是任意两个样本的线性组合很大概率上生成的 新样本是是无意义的。为了保证新样本的质量，引入了生成对抗网络。然而，生成对抗网络 训练困难，并且随着增强样本数目的增多，模型收敛速度急剧下降。因此，如何在保证新样 本质量的前提下，提升模型的训练速度仍是一个重要问题。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于设计一个基于推理的隐式的数据增 强方法，通过模拟人类的推理想象能力从而提高尾部类内丰富性。该方法分为两个阶段，第 一阶段首先在原始数据分布上训练基本的特征提取器和分类器，然后利用分类器构建知识图 谱，并基于提取的特征计算每个类别的类中心和协方差矩阵。由于协方差矩阵代表了每个类 别的特征变化方向，在第二阶段利用构建的知识图谱识别出尾部类别的相似类别，然后将相 似类别的特征变换方向迁移到每个尾部样本上进行特征变化。通过挖掘类别之间的相关关系， 极大地丰富了尾部类别多样性。最后，对每个样本沿着迁移的协方差矩阵进行变化方向的无 限次高斯分布采样可以获得无穷样本，通过优化无限样本损失函数的上界，得到一个新的基 于推理的隐式语义数据增强损失进行模型训练。

本方法将语义特征变换方向从其他类别迁移到尾部类别，以增强尾部类别样本的多样性。 本发明构造了一个可学习的知识图谱，这样本方法就可以针对不同的样本自适应地选择相似 的类别进行合理迁换，另一方面也扩大了本方法的适用范围。本方法在长尾数据集(如 CIFAR-100-LT、ImageNet-LT和iNaturelist 2018)上表现出很好的性能。