[发明专利]一种基于师生协同的知识蒸馏方法

权利要求书

1.一种基于师生协同的知识蒸馏方法，其特征在于，包括以下步骤：

S1：构建经过预先训练的教师网络，以及具有多层级的分支输出的学生网络；

S2：将训练数据分别输入教师网络和学生网络，得到教师网络输出的概率分布以及各个分支输出的概率分布和特征；

S3：通过教师网络输出的概率分布和各个分支输出的概率分布计算各个分支的知识蒸馏损失；然后通过各个分支输出的概率分布和特征计算各个分支的自蒸馏损失；最后通过各个分支的知识蒸馏损失和自蒸馏损失计算对应的整体损失函数，并更新学生网络的参数；

S4：对学生网络各个分支输出的概率分布进行融合，得到对应的最终概率分布；

S5：重复步骤S1至S4，直至学生网络训练至收敛。

2.如权利要求1所述的基于师生协同的知识蒸馏方法，其特征在于：步骤S1中，使用过参数化的ResNet模型或VGG模型作为教师网络，并对教师网络进行训练。

3.如权利要求1所述的基于师生协同的知识蒸馏方法，其特征在于：步骤S1中，在学生网络的不同阶段添加自适应瓶颈层和全连接层，使得学生网络能够形成由浅到深的多个层级的分支输出。

4.如权利要求1所述的基于师生协同的知识蒸馏方法，其特征在于：步骤S2中，自适应瓶颈层的结构由1x1、3x3、1x1的三层卷积模块组成，其自适应体现在根据不同特征图的大小使用不同数量的瓶颈模块。

5.如权利要求1所述的基于师生协同的知识蒸馏方法，其特征在于：步骤S3中，分支的知识蒸馏损失包括教师网络输出的概率分布和对应分支输出的概率分布之间的KL散度，以及对应分支输出的概率分布与训练数据的真实标签之间的交叉熵损失。

6.如权利要求5所述的基于师生协同的知识蒸馏方法，其特征在于：步骤S3中，知识蒸馏损失通过如下公式计算：

其中，y_t＝f^t(x,w_t)；

y_i＝f^s(x,w_s)；

式中：表示第i个分支的知识蒸馏损失；i∈[1,n]；T²L_KL(y_i,y_t)表示教师网络输出的概率分布y_t和第i个分支输出的概率分布y_i之间的KL散度；L_CE(y_i,y)表示第i个分支输出的概率分布y_i与训练数据的真实标签y之间的交叉熵损失；w_t、w_s表示教师网络和学生网络的权重参数；x表示教师网络和学生网络的输入；f^t和f^s表示教师网络和学生网络的特征。

7.如权利要求1所述的基于师生协同的知识蒸馏方法，其特征在于：步骤S3中，分支的自蒸馏损失包括对应分支输出的概率分布与主干网络输出的概率分布之间的KL散度，以及对应分支输出的特征与主干网络输出的特征之间的L2损失；其中，将最深层级分支的输出作为主干网络的输出。