[发明专利]一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质

说明书

本发明涉及一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质，用于提升系统整体的效率和精度，本发明通过将置信惩罚正则化的相关规则应用于自我知识蒸馏，通过训练学习，使简单神经网络在图像分类识别领域能够达到与复杂神经网络相当甚至更甚的精度。并且省去了训练复杂神经网络的必要性，节省计算资源提高训练效率。

技术领域

本发明属于人工智能领域，涉及一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质，可用于压缩和加速神经网络，应用于图像分类领域。

背景技术

深度神经网络在解决自然语言处理、语音识别和计算机视觉等许多具有挑战性的人工智能任务方面取得了极大的成功。但深度神经网络的计算复杂度和高内存需求严重阻碍了它在资源有限的平台上的使用，例如智能手机和嵌入式设备等边缘设备。

近些年，基于卷积神经网络的表示方式被广泛应用于图像分类领域，但现有的图像应用卷积神经网络进行分类时，不仅需要大量计算，而且会占有大量内存，则当面对受限的边缘计算场景或对实时性要求较高时，这种对计算和内存有着高要求的方法将很难适用。知识蒸馏作为一种典型的模型压缩和加速技术，为深度神经网络在资源有限设备上的部署提供了可能性[Hinton G,Vinyals O,Dean J.Distilling the knowledge in aneural network[J].arXiv preprint arXiv:1503.02531,2015.]。随着技术的发展，从各个方面对于原本知识蒸馏方法的改进算法不断提出，其中，自我知识蒸馏是一个研究热点，各种相关方法被不断提出。Yuan L等开创性的将标签平滑正则化与知识蒸馏结合，提出了教师自由的自我知识蒸馏框架[Yuan L,Tay F E H,Li G,et al.Revisiting knowledgedistillation via label smoothing regularization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.2020:3903-3911.]。将正则化方法应用于自我知识蒸馏，可免去训练复杂教师网络的必要性，则在无法获得可靠的教师网络或计算资源有限时，此种方法具有很好的效果与意义。现有的关于正则化方法应用于自我知识蒸馏的研究较少，在图像分类领域的识别精度等方面还有提升的空间。

发明内容

针对现有技术的不足，本发明提供了一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法；

本发明用于解决传统教师—学生模式的知识蒸馏方法所要求的复杂、学习能力强的教师模型，以及强大计算资源的问题，该方法适用于图像分类领域。

本发明利用几种典型的神经网络，将置信惩罚正则化规则与自我知识蒸馏框架融合，通过训练学习让简单的神经网络达到与复杂神经网络相当的图像分类精度。本发明不仅能够在节省计算资源的基础上达到可观的分类精度，还能够省去训练复杂神经网络的必要性，大大提高训练效率。

本发明还提供了一种计算机设备及存储介质。

术语解释：

1、logits：一个事件发生与该事件不发生的比值的对数；

2、教师网络：知识蒸馏中，将一个复杂的但是学习能力强的深度神经网络称为教师网络。

3、学生网络：知识蒸馏中，将一个精简、复杂度低但学习能力较弱的深度神经网络称为学生网络。本发明中采用的学生网络为MobileNetV2，为现有网络架构，网络结构图如图4。

本发明的技术方案为：

一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法，用于提升系统整体的效率和精度，具体步骤如下：

A、训练过程