[发明专利]一种卷积神经网络的自蒸馏训练方法和可伸缩动态预测方法

权利要求书

1.一种卷积神经网络的自蒸馏训练方法，其特征在于，包括如下步骤，

步骤1，根据目标卷积神经网络的深度和原始结构，以设定的深度区间将目标卷积神经网络的卷积层划分成n个部分，n为正整数且n≥2，其中第n层为最深层部分，其余层为浅层部分；

步骤2，在每个浅层部分之后分别设置浅层分类器进行分类，最深层部分之后设置最深层分类器进行分类；浅层分类器包括依次设置的瓶颈层、完全连接层和softmax层进行分类，最深层分类器包括依次设置的完全连接层和softmax层进行分类；

所述的浅层分类器的特定特征由如下的注意力模块得到，

Attention Maps(W_conv,W_deconv,F)＝σ(φ(ψ(F,W_conv)),W_deconv)

其中，ψ和φ分别表示用于下采样的卷积层的卷积函数和用于上采样的反卷积层的反卷积函数，F表示输入特征，σ表示Sigmoid函数，W_conv表示卷积层的权重，W_deconv表示反卷积层的权重；

步骤3，在训练时，最深层部分被视为教师模型，所有带有对应分类器的浅层部分都通过从最深层部分蒸馏而被训练为学生模型，从而实现卷积神经网络的自蒸馏训练。

2.根据权利要求1所述的一种卷积神经网络的自蒸馏训练方法，其特征在于，步骤3中，在训练时，引入如下三种损失提高学生模型的性能；

引入来自标签的交叉熵损失；根据来自训练数据集的标签和每个分类器的softmax层的输出计算得到交叉熵损失，将其引入到所有分类器中；

引入教师模型指导下的KL散度损失；根据每个学生模型和教师模型之间的softmax层输出来计算KL散度，将其对应引入到每个浅层分类器的softmax层；

引入来自提示的L2损失；通过计算最深层分类器和每个浅层分类器的特征图之间的L2损失，将其对应引入到每个浅层分类器瓶颈层。

3.根据权利要求2所述的一种卷积神经网络的自蒸馏训练方法，其特征在于，具体的，引入来自标签的交叉熵损失由如下公式得到，

(1-α)·Cross Entropy(qⁱ，y)

其中，qⁱ表示每个分类器θ_i/C的softmax层的输出；训练集为给定来自M个类别的N个样本将对应的标签集表示为y_i∈{1,2,...,M}；α为控制KL散度损失函数比例的超参数，KL为Kullback-Leibler散度，最深层分类器的α为零，CrossEntropy为交叉熵函数。

4.根据权利要求2所述的一种卷积神经网络的自蒸馏训练方法，其特征在于，具体的，引入教师模型指导下的KL散度损失由如下公式得到，

α·KL(qⁱ，q^C)

其中，α为控制KL散度损失函数比例的超参数，KL为Kullback-Leibler散度，qⁱ表示每个分类器θ_i/C的softmax层的输出，q^C为最深层分类器θ_C的softmax层的输出，最深层分类器的α为零。

5.根据权利要求2所述的一种卷积神经网络的自蒸馏训练方法，其特征在于，具体的，引入来自提示的L2损失由如下公式得到，

其中，F_i和F_C分别表示每个分类器θ_i/C中的特征和最深层分类器θ_C中的特征，λ为控制特征损失函数比例的超参数，最深层分类器的λ为零。