[发明专利]一种基于改进MSDNet与知识蒸馏的识别方法

说明书

本发明涉及IT应用领域，具体提供了一种基于改进MSDNet与知识蒸馏的识别方法，具有如下步骤：S1、获取识别图片进行数据样本采集；S2、对识别图片进行数据预处理和数据清洗获得满足要求的足量的识别图片，并对识别图片进行信息标注；S3、对步骤S2中识别的图片采用修改后的MSDNet模型进行训练，从而获得教师模型；S4、将步骤S3中的训练好的模型作为软标签配合图片中原有的标签，根据不同数据采用不同的temperture，从而训练出学生模型；S5、对步骤S1‑S4采集到的数据组成识别的系统。与现有技术相比，本发明能使系统获得更高的性能，即更高的识别精度。

技术领域

本发明涉及IT应用领域，具体提供一种基于改进MSDNet与知识蒸馏的识别方法。

背景技术

目前的图片识别神经网络效果往往取决于网络层数,即模型复杂度。通常来说，模型越复杂、卷积层越多的神经网络可以提取到图片更多的特征，从而有更好的识别结果。

然而，复杂的网络架构对算力要求较高，当算力成为瓶颈的时候，只能采用较为简单的识别模型，而简单模型识别效果通常不能得到很好地识别效果。随着神经网络层数加深，模型泛化性变差，容易过拟合，使得在训练集上表现好的模型难以在预测的时候表现优异。

神经网络层数过多，容易产生梯度消失现象，使得训练提前终止，需要多次人工干预；网络过大，使实时识别变得困难，影响实际应用时候的经济效益。

目前来看，亟需一种在轻量的前提下达到较高的识别精度的模型。

发明内容

本发明是针对上述现有技术的不足，提供一种实用性强的基于改进MSDNet与知识蒸馏的识别方法。

本发明解决其技术问题所采用的技术方案是：

一种基于改进MSDNet与知识蒸馏的识别方法，具有如下步骤：

S1、获取识别图片进行数据样本采集；

S2、对识别图片进行数据预处理和数据清洗获得满足要求的足量的识别图片，并对识别图片进行信息标注；

S3、对步骤S2中识别的图片采用修改后的MSDNet模型进行训练，从而获得教师模型；

S4、将步骤S3中的训练好的模型作为软标签配合图片中原有的标签，根据不同数据采用不同的temperture，从而训练出学生模型。

S5、对步骤S1-S4采集到的数据组成识别的系统。

进一步的，所述修改后的MSDNet模型为在每个块的末尾实现一个提前退出分类器，并且能够通过在任何所需分类器处停止计算，且所有的子网都共享参数。

进一步的，所述识别图片输入时，若长宽比例不匹配，在数据清理阶段通过添加空白像素点使图片补充至指定要求。

进一步的，在MSDNet模型进行训练时，卷积后使用ReLu激活函数：

φ(x)＝max(0，x)然后使用Inception网络把稀疏矩阵转换成密集的自矩阵，在沿着深度划分为若干块之后，在每个块的末尾实现一个提前退出分类器，最后使用全联接层，将卷积后神经网络提取的特征转换以数据的形式输入到全联接层之中。

进一步的，在知识蒸馏时，直接让学生模型去学习教师模型的泛化能力，迁移泛化能力的方法为使用softmax层输出的类别的概率来作为soft target。

进一步的，直接使用softmax层的输出值作为soft target，当softmax输出的概率分布熵相对较小时，负标签的值都很接近0，对损失函数的贡献非常小，小到可以忽略不计，无法有效的捕捉信息量，因此在softmax函数中添加“温度”这个变量，在softmax函数为：