[发明专利]一种基于知识蒸馏的高效图像分类方法及系统

权利要求书

1.一种基于知识蒸馏的高效图像分类方法，其特征在于，所述方法包括：

构建训练集和测试集，并对所述训练集和测试集中的图像进行类别标注；

对所述训练集合测试集中的图像进行预处理；

使用预处理后的训练集对多个学生网络模型同时进行训练，训练过程中利用预先训练好的教师网络模型对学生网络模型的训练进行指导，并在目标损失函数中增加相似性损失和多样性损失，输出准确率较高的学生网络模型；

使用预处理后的测试集对输出的学生网络模型进行图像分类测试。

2.根据权利要求1所述的一种基于知识蒸馏的高效图像分类方法，其特征在于，训练过程中利用预先训练好的教师网络模型对学生网络模型的训练进行指导，具体包括：

同时定义多个小型学生网络模型，让所有学生网络模型都共享相同的网络体系结构，并通过随机初始化的方式对网络权重进行初始化；

将训练集中的每个小批量数据通过D＝{x_i,y_i}_i＝1～m表示，m表示批量数，每个样本都属于C个类别之一，y_i是一个C维的向量，表示真实的数据标注值；

然后利用交叉熵损失函数来表示第k个学生网络模型的输出与真实标签之间的误差，以此来提升各个学生网络模型的性能，其中表示第k个学生网络模型softmax层之前的logit输出；

增加KL散度损失来表示第k个学生网络模型的软化分布输出与教师网络模型软化输出之间的差异，以此来达到教师网络模型指导学生网络模型的目的，KL散度损失函数表达式为：

其中，第k个学生网络模型的软化输出与教师网络模型的软化输出分别表示为与其中超参数τ表示温度系数，用于在所有输出类别上产生较软的概率分布；

对所述交叉熵损失函数和KL散度损失函数进行加权求和，获得知识蒸馏中训练学生网络模型的损失函数其中α是用来控制两项损失之间平衡的超参数。

3.根据权利要求2所述的一种基于知识蒸馏的高效图像分类方法，其特征在于，训练过程中利用预先训练好的教师网络模型对学生网络模型的训练进行指导，并在目标损失函数中增加相似性损失和多样性损失，具体还包括：

在知识蒸馏目标损失函数中增加两个新的损失项，即相似性损失L_sm，它使不同的学生彼此互动；与多样性损失L_ds，它使学生组学习的知识多样化；

将学生网络模型i到学生网络模型k的知识定义为他们之间的KL散度并引入差异掩码来表示学生网络模型i到学生网络模型k之间的差异，其中M(i,k)定义为两个学生网络模型的logit输出之间的欧式距离；

对于特定的学生网络模型k，将相似性损失L_sm定义为：其中，K表示学生网络模型的数量，I(x)是一个指示符函数，即当x状态为true时函数值为1，否则为0；

多样性损失L_ds定义为：其中D(z_k,j,z_avg,j)表示多样性度量，被定义为：也就是计算每个学生网络模型的logit输出与他们的平均值之间的L2范数，C表示logit的维度，z_avg表示所有学生网络模型的logit输出的平均，表达式为：

在整个由多学生网络模型组成的动态知识蒸馏系统中，将学生网络模型k的总体损失函数定义为四个损失的加权组合：其中γ表示控制损失影响的比例因子。

4.根据权利要求3所述的一种基于知识蒸馏的高效图像分类方法，其特征在于，训练过程中利用预先训练好的教师网络模型对学生网络模型的训练进行指导，并在目标损失函数中增加相似性损失和多样性损失，具体还包括：

引入自动化的控制机制来调整比例因子γ，该机制表达为：

其中θ是用来控制γ变化的超参数，Δacc是每个epoch结束时训练集上所有学生网络模型准确率变化的平均值，表达式为：表示学生网络模型k在当前epoch训练结束时的准确率，对应的是上一个epoch训练结束时的准确率。