[发明专利]一种基于改进MSDNet与知识蒸馏的识别方法

权利要求书

1.一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，具有如下步骤：

S1、获取识别图片进行数据样本采集；

S2、对识别图片进行数据预处理和数据清洗获得满足要求的足量的识别图片，并对识别图片进行信息标注；

S3、对步骤S2中识别的图片采用修改后的MSDNet模型进行训练，从而获得教师模型；

S4、将步骤S3中的训练好的模型作为软标签配合图片中原有的标签，根据不同数据采用不同的temperture，从而训练出学生模型；

S5、对步骤S1-S4采集到的数据组成识别的系统。

2.根据权利要求1所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，所述修改后的MSDNet模型为在每个块的末尾实现一个提前退出分类器，并且能够通过在任何所需分类器处停止计算，且所有的子网都共享参数。

3.根据权利要求2所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，所述识别图片输入时，若长宽比例不匹配，在数据清理阶段通过添加空白像素点使图片补充至指定要求。

4.根据权利要求3所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，在MSDNet模型进行训练时，卷积后使用ReLu激活函数：

φ(x)＝max(0，x)

然后使用Inception网络把稀疏矩阵转换成密集的自矩阵，在沿着深度划分为若干块之后，在每个块的末尾实现一个提前退出分类器，最后使用全联接层，将卷积后神经网络提取的特征转换以数据的形式输入到全联接层之中。

5.根据权利要求4所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，在知识蒸馏时，直接让学生模型去学习教师模型的泛化能力，迁移泛化能力的方法为使用softmax层输出的类别的概率来作为soft target。

6.根据权利要求5所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，直接使用softmax层的输出值作为soft target，当softmax输出的概率分布熵相对较小时，负标签的值都很接近0，对损失函数的贡献非常小，小到可以忽略不计，无法有效的捕捉信息量，因此在softmax函数中添加“温度”这个变量，在softmax函数为：

蒸馏过程中目标函数由distill loss和student loss加权得到：

L＝αL_soft+βL_hard

学生网络和教师网络使用相同的训练集，将教师网络的softmax作为softtarget，学生网络在相同温度T条件下的softmax输出和soft target的cross entropy就是损失函数的第一部分；学生网络在T＝1的条件下的softmax输出和标签的交叉熵损失就是损失函数的第二部分。

7.根据权利要求6所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，使用知识蒸馏后，修改了整个模型架构。将模型分为原有的教师模型和从教师模型中提取的众多子模型，提取的众多子模型称作助教模型，助教模型为先向老师学习，然后再向学生传授知识。

8.根据权利要求6所述的一种基于改进MSDNet与知识蒸馏的识别方法，其特征在于，所述助教模型分为两种模型：带一个助教的kd和带多个助教的kd；

(1)带一个助教的kd模型的IPKD损失为：

(2)带多个助教的kd模型的IPKD损失为：