[发明专利]一种基于对比学习的自蒸馏实现方法

说明书

本发明公开了一种基于对比学习的自蒸馏实现方法，该方法包括：首先下载CIFAR数据集，并对其进行划分和增广；然后在主干网络结构的基础上，预训练的主干网络作为教师网络，对同一数据进行增广后充分利用教师网络的知识，蒸馏重新训练新主干网络，构造出新的蒸馏框架；将划分后的数据集送入神经网络进行训练，直至网络收敛，获得权重文件；最后利用训练好的神经网络和权重文件来检测测试图像，并输出分类结果。本发明能够很好地解决了目前蒸馏框架中教师网络预训练耗时和小模型精度不达标的问题，提高了蒸馏下模型的准确率。

技术领域

本发明涉及一种基于对比学习的自蒸馏实现方法，属于计算机视觉技术领域。

背景技术

目前近深度学习取得了巨大进步，但是受限于庞大的计算量和参数量很难实际应用与资源受限设备上。为了使深度模型更加高效，人们探索知识蒸馏这个领域。2006年,Bucilua等人最先提出将大模型的知识迁移到小模型的想法。 2015年，Hinton才正式提出广为人知的知识蒸馏的概念。知识蒸馏的主要的想法是：学生模型通过模仿教师模型来获得和教师模型相当的精度，关键问题是如何将教师模型的知识迁移到学生模型。

传统知识蒸馏可以分为基于响应的知识蒸馏和基于特征的知识蒸馏。基于反应的知识通常指教师模型最后一个输出层的神经反应。其主要思想是直接模拟教师模型的最终预测。基于反应的知识蒸馏是一种简单而有效的模型压缩方法，在不同的任务和应用中得到了广泛的应用。

基于特征的知识蒸馏来自于中间层，是基于响应的知识的一个很好的扩展，利用中间层的特征图可以作为监督学生模型训练的知识。最直接的想法是匹配中间特征的激活函数值，特别地，Zagoruyko和Komodakis(2017)提出用attention map来表示知识；为了匹配教师和学生之间的语义信息，Chen et al.(2021)提出 cross-layer KD，通过注意力定位自适应地为每个学生网络中的层分配教师网络中的层。但是，上述两种经典方法有两个缺点包括：第一个缺点是知识转移效率低，这意味着学生模型几乎没有利用教师模型中的所有知识。一个杰出的学生模型其表现优于其教师模式，仍然是罕见的；另一个缺点是如何设计和培训合适的教师模式。现有的蒸馏框架需要大量的努力和实验才能找到最佳的教师模型架构，这需要相对较长的时间，例如传统蒸馏方法在CIFAR100上对教师网络ResNet152训练需要14.67小时，第二步对学生网络ResNet50训练需要12.31 小时。

发明内容

本发明目的在于针对上述现有技术的不足，提出了一种基于对比学习的自蒸馏实现方法，该方法很好地解决了目前蒸馏框架中教师网络预训练耗时和小模型精度不达标的问题，提高了蒸馏下模型的准确率。

本发明解决其技术问题所采取的技术方案是：一种基于对比学习的自蒸馏实现方法，该方法包括以下步骤：

步骤1：数据集获取过程；

使用CIFAR10和CIFAR100数据集，并根据五比一的比例划分训练集和测试集；

步骤2：构建神经网络过程；

对主干网络在数据集上进行预训练，得到的权重当作教师网络，重新蒸馏训练主干网络，在训练时将同一批次的样本送入教师网络和教师网络，并在送入教师网络前进行增广，得到结果后进行平均得到对比后的预测结果；

步骤3：神经网络训练过程；

将划分后的CIFAR数据集送入上述步骤2构建的神经网络进行训练，直至网络收敛；

步骤4：测试图像检测过程；

采用训练好的神经网络和权重文件来检测测试图像中的准确率。

进一步地，本发明所述步骤2包括以下步骤：

步骤2-1：在主干网络进行预训练，得到教师网络后固定权重，并对样本进行多种增广再送入教师网络进行预测；