[发明专利]基于无监督蒸馏网络的学生网络获取方法、图像分类模型获取方法、图像分类方法

说明书

基于无监督蒸馏网络的学生网络获取方法、图像分类模型获取方法、图像分类方法，涉及神经网络加速领域。针对现有技术中无监督训练方法面对大网络性能较好，在小网络上则不能保证训练的精度，除了预训练教师网络外，还会构造一个样本库来实现损失函数，限制了网络在边缘端的更新的问题，本发明提供了：基于无监督蒸馏网络的学生网络获取方法，包括：采集图像作为数据集；根据数据集，得到两个增广；两个增广分别通过教师网络和学生网络，得到教师网络的投影值和预测值和学生网络的投影值和预测值；根据教师网络的投影值和预测值和学生网络的投影值和预测值，更新教师网络和学生网络；输出当前学生网络，作为结果。适合应用于边缘计算场景。

技术领域

涉及神经网络加速领域，具体涉及通过神经网络分类图像。

背景技术

边缘采集设备会生成大量的无标签数据，对这些无标签数据进行标注将会消耗大量人力物力。因此需要网络能够进行无监督训练。对比学习(contrast Learning,CL)的发展将众多研究者的注意力吸引到自监督学习(Self-Supervised Learning,SSL)领域。与自回归(AR)模型、基于流的模型和自动编码(AE)模型等生成方法不同，CL从正样本和负样本之间的比较中学习表示，而不是专注于重建像素空间中的误差。因此，CL可以专注于对类内聚集至关重要的更抽象的潜在因素。许多令人敬畏的CL方法已经被推导出来，它们通常可以分为两类:对比方法和非对称方法。对比方法将数据集中的每个图像都视为一个独立的类。学习过程是训练模型将同一幅图像的两幅增广图像识别为同一类别，而将其他图像识别为不同类别。这些实例判别方法取得了很好的效果。有些甚至缩小了基于监督的方法和基于自监督的方法之间的差距。然而，这些方法倾向于将每个嵌入分为不同的类别，这意味着在此过程中，属于同一类别的一些图像也被分离了。已经提出了许多方法来缓解这个问题，如SupCon，NNCLR，MMCL，CLD。与依赖正负对的对比方法不同，非对称方法采用了预测网络和停止梯度方法。通过预测网络将两个不同的嵌入投影到彼此接近的位置。具体来说，BYOL在在线分支之后引入了一个预测层，并使用动量编码器更新目标分支。进一步证明了停止梯度操作可以取代动量编码器。该方法仅使用一个网络。然而，对称或非对称方法在小型模型上的精度都会退化。这些工作专注于提高大型网络的性能，如ResNet-50，而边缘应用通常需要内存消耗和计算复杂度更少的小型模型。但是目前的无监督训练方法面对大网络性能较好，在小网络上则不能保证训练的精度，而边缘部署对网络的大小有着严格的要求。

小型模型通常在SSL中学习低层次表示。因此，参考监督学习，在框架中采用知识蒸馏(KD)来缓解特征提取能力的退化。知识蒸馏(KD)通过蒸馏集成模型中的知识来提高单个模型的性能。将教师模型推理生成的软目标与实际标签生成的硬目标相结合，引入到学生模型的训练中。结果相当令人印象深刻，许多研究人员将这种方法用于优化小型、轻量级网络。将KD应用于SSL时有几个问题需要考虑。首先，SSL避免了人工标注图像的使用，这意味着没有图像标签进行网络更新，损失函数需要重新设计。其次，KD需要一个两阶段的训练，首先更新教师模型以获得最佳性能，然后学生模型使用教师的logits。但是在边缘端，重新训练教师模型进行会相当消耗算力资源，同时SAR图像、遥感图像、瑕疵检测等等工业场景数据集又会限制网络的迁移性能。此外，一般的SSKD方法，除了预训练教师网络外，还会构造一个样本库来实现依赖于正负样本的损失函数，这进一步限制了网络在边缘端的更新。

发明内容

针对现有技术中，的无监督训练方法面对大网络性能较好，在小网络上则不能保证训练的精度，一般的SSKD方法，除了预训练教师网络外，还会构造一个样本库来实现依赖于正负样本的损失函数，这进一步限制了网络在边缘端的更新的问题，本发明提供的技术方案为：

基于无监督蒸馏网络的学生网络获取方法，应用于图像分类，其特征在于，所述方法包括：

步骤1：采集图像作为数据集；

步骤2：根据所述数据集，得到两个增广；