[发明专利]一种基于对比学习的自蒸馏实现方法

权利要求书

1.一种基于对比学习的自蒸馏实现方法，其特征在于，所述方法包括以下步骤：

步骤1：数据集获取过程；

下载CIFAR数据集，并对其进行划分为训练集和测试集以及数据增广；

步骤2：构建神经网络过程；

在主干网络结构的基础上，预训练的主干网络作为教师网络，对同一数据进行增广后充分利用教师网络的知识，蒸馏重新训练新主干网络，构造出新的蒸馏框架；

步骤3：神经网络训练过程；

将增广划分后的CIFAR数据集送入上述步骤2构建的神经网络进行训练，直至网络收敛；

步骤4：测试图像检测过程；

采用训练好的神经网络和权重文件来检测测试图像中的分类准确率。

2.根据权利要求1所述的一种基于对比学习的自蒸馏实现方法，其特征在于，所述步骤2包括以下步骤：

步骤2-1：将预训练主干网络当作教师网络，并对于同一批次的样本进行不同的增广，对于同个样本的不同形式充分挖掘教师网络蕴含的暗知识；

步骤2-2：将教师网络得到的预测结果进行平均化，利用投票机制得到更加准确的预测结果。

3.根据权利要求1所述的一种基于对比学习的自蒸馏实现方法，其特征在于，所述步骤3包括以下步骤：

步骤3-1：针对数据集中目标的大小，使用随机裁剪和随机水平翻转的数据增强方法；

步骤3-2：使用随机梯度下降的方法进行优化，学习率进行两次衰减，从初始值进行衰减，使神经网络能够达到更好的蒸馏结果；

步骤3-3：在神经网络上尝试不同的训练超参数，进行训练，当损失函数收敛或者达到最大迭代次数时，停止训练得到蒸馏后的网络文件和权重文件。

4.根据权利要求3所述的一种基于对比学习的自蒸馏实现方法，其特征在于，所述步骤3-1中对原始图像进行随机裁剪，裁剪填充大小为4。

5.根据权利要求3所述的一种基于对比学习的自蒸馏实现方法，其特征在于，所述步骤3-2是在训练过程中的不同阶段进行学习率衰减。