[发明专利]基于自监督与自蒸馏的补充标签学习方法

权利要求书

1.基于自监督与自蒸馏的补充标签学习方法，其特征在于：包括以下步骤：

S1、构建自监督方式，首先使用数据挖掘方法在数据集中进行计算，对此过程中用于训练数据挖掘模型的数据进行收集，即为训练数据，然后基于已有的训练数据特性来构建相应的自监督方式，对于图像数据来说，采用图像旋转的方式，然后将旋转不同角度的图像数据作为不同的类别来构建一个监督学习的任务；

S2、构建分类网络，然后基于S1中构建的自监督数据和原有的基于补充标签的数据，构建一个多任务的分类网络，其中第一个任务是基于传统的补充标签，而第二个任务是构建的基于自监督的任务，基于自监督的任务采用传统的交叉熵损失函数，而基于补充标签的数据将采用如下的损失函数：

S3、网络训练，然后基于S2中的数据和损失函数对网络进行训练，基于多任务的形式对网络以端对端的方式进行训练，其中训练的损失函数为两个任务损失函数之和，具体自监督损失和补充标签损失的形式如下所示：

S4、构建知识蒸馏机制，最后在基于自监督和补充标签的数据训练完成后，基于训练好的网络构建知识蒸馏机制，将训练好的模型作为教师网络，而选取一个相同结构的网络作为学生网络，然后基于教师网络的输出给学生提供信息，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度，自监督蒸馏相比于传统的离线蒸馏的方式是不需要提前训练一个教师网络模型，而是学生网络本身的训练完成一个蒸馏过程，蒸馏机制如下：

。

2.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S1中对于普通的数据来说，采用旋转矩阵的方式来构建不同类别的数据，具体方式如下所示：

T(x)＝Wx+b，

3.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S2中的交叉熵损失函数不仅可以衡量模型的效果，还可以使得补充标签的输出结果最小，另外，交叉熵能够用来判定实际的输出与期望的输出的接近程度。

4.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S3中损失函数是训练神经网络必不可少的一项配置，损失函数用数值度量了模型的性能，并通过对网络参数求取梯度产生更新网络。

5.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S4中在蒸馏过程中，除了要学习教师网络的知识外，还需要满足原有的补充标签信息，同时要满足自监督的蒸馏信息。

6.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S1中分别将图像旋转0°、90°、180°和270°来构建相应的数据。

7.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S2中多任务的分类网络在构建时需要将种子网络的网络权重载入多任务分类网络的共享特征提取网络中，并冻结所述共享特征提取网络中的网络权重。

8.根据权利要求1所述的基于自监督与自蒸馏的补充标签学习方法，其特征在于：所述S4中教师网络的作用为基于已训练的网络信息构建教师学生网络，让学生网络学习出教师网络的隐藏信息，最终获得一个更好的分类性能。