[发明专利]基于自监督与自蒸馏的补充标签学习方法

说明书

本发明公开了基于自监督与自蒸馏的补充标签学习方法，包括以下步骤：构建自监督方式、构建分类网络、网络训练和构建知识蒸馏机制。本发明通过利用自监督的方式来获取一个更好的特征表达，从而让网络学习的模型更好，最终让分类器的性能更好，同时采用自蒸馏的方式发掘出模型本身包含的信息，利用这部分信息构建一个教师学生网络，从而可以进一步提升模型的性能，大大提高了模型的准确率，而且基于深度学习的损失函数在一定程度上也获得了不错的性能，并且可以达到端对端训练的目的。

技术领域

本发明属于人工智能技术领域，更具体地说，尤其涉及基于自监督与自蒸馏的补充标签学习方法。

背景技术

补充标签学习是一种经典的弱标签学习问题，在这个任务当中，我们只知道某个样本的标签不属于某个类别，而不知道其具体的标签，其最终目标是学习一个可以给出正确标签的样本分类器，现有的基于深度学习的方案中主要是提出不同的损失函数来求解这个问题，使得这个问题可以直接通过端对端的方式进行训练；

现有的这些方法忽略了如何从数据和模型本身来获取更多的信息，事实上，原始数据中包含有数据的整体分布特性，如果只利用其补充标签信息，我们很难获取一个有效的分类器。

为此，我们提出基于自监督与自蒸馏的补充标签学习方法来解决现有技术中存在的问题，进一步提升模型的性能，大幅度提高模型的准确率。

发明内容

本发明的目的在于提供基于自监督与自蒸馏的补充标签学习方法，以解决上述背景技术中提出现有技术中难以获得有效的分类器的问题。

为实现上述目的，本发明提供如下技术方案：基于自监督与自蒸馏的补充标签学习方法，包括以下步骤：

S1、构建自监督方式，首先使用数据挖掘方法在数据集中进行计算，对此过程中用于训练数据挖掘模型的数据进行收集，即为训练数据，然后基于已有的训练数据特性来构建相应的自监督方式，对于图像数据来说，采用图像旋转的方式，然后将旋转不同角度的图像数据作为不同的类别来构建一个监督学习的任务；

S2、构建分类网络，然后基于S1中构建的自监督数据和原有的基于补充标签的数据，构建一个多任务的分类网络，其中第一个任务是基于传统的补充标签，而第二个任务是构建的基于自监督的任务，基于自监督的任务采用传统的交叉熵损失函数，而基于补充标签的数据将采用如下的损失函数：

S3、网络训练，然后基于S2中的数据和损失函数对网络进行训练，基于多任务的形式对网络以端对端的方式进行训练，其中训练的损失函数为两个任务损失函数之和，具体自监督损失和补充标签损失的形式如下所示：

S4、构建知识蒸馏机制，最后在基于自监督和补充标签的数据训练完成后，基于训练好的网络构建知识蒸馏机制，将训练好的模型作为教师网络，而选取一个相同结构的网络作为学生网络，然后基于教师网络的输出给学生提供信息，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度，自监督蒸馏相比于传统的离线蒸馏的方式是不需要提前训练一个教师网络模型，而是学生网络本身的训练完成一个蒸馏过程，蒸馏机制如下：

优选的，所述S1中对于普通的数据来说，采用旋转矩阵的方式来构建不同类别的数据，具体方式如下所示：

T(x)＝Wx+b，

优选的，所述S2中的交叉熵损失函数不仅可以衡量模型的效果，还可以使得补充标签的输出结果最小，另外，交叉熵能够用来判定实际的输出与期望的输出的接近程度。

优选的，所述S3中损失函数是训练神经网络必不可少的一项配置，损失函数用数值度量了模型的性能，并通过对网络参数求取梯度产生更新网络。