[发明专利]基于在线协作与特征融合的蒸馏方法与装置

说明书

本发明公开了一种基于在线协作与特征融合的蒸馏方法与系统，所述方法包括：步骤1：多尺度提取中间层和最后一层的特征；步骤2；将步骤1得到的特征累加和提前融合；步骤3：将步骤2得到的特征输送到双重注意力网络；步骤4：将步骤3得到的新的特征进行融合形成一个分类器，该融合分类器是作为教师网络去指导学生网络学习。本发明旨在通过特征累加和早融合的方法来充分利用各个学生的表征知识，从而提升各网络的性能。

1、技术领域

本发明涉及深度学习模型压缩与加速研究领域，尤其涉及一种基于在线协作与特征融合的知识蒸馏方法与系统。

2、背景技术

卷积神经网络(CNN)作为深度学习中最重要的技术，在许多任务中表现出优异的性能。然而，为了获得更高的准确度，CNN进一步扩展了通道和层的数量，随之而来的是参数和计算数量的指数增长。这对于在边缘设备上部署模型来说是一个巨大的挑战。针对上述问题，现有技术提出了许多模型压缩和加速方法，主要包括网络剪枝、权重量化、轻量级网络设计和知识蒸馏。(1)作为一种三阶段方法，网络剪枝需要对模型进行预训练，根据重要性评估结果剪枝不重要的通道，最后进行微调以恢复性能。这种方法非常耗时。此外，即使经过微调，网络通常仍然或多或少地受到性能下降的影响。(2)权重量化通过压缩模型权重的位数来减少计算量和参数，从而使模型可以部署在特定硬件。(3)轻量级网络设计依赖于设计者的经验和大量的实验。(4)与上述方法不同，知识蒸馏通过教师网络到学生网络的知识转移来实现模型的压缩和加速。紧凑的学生网络从繁琐的教师网络那里学习知识，例如，类预测作为软目标、特征映射激活边界和中间层特征映射。教师网络和学生网络是在同一任务下训练的，并且利用教师网络的知识作为监督信号来训练紧凑的学生，使学生网络能够以较少的资源消耗实现优异的性能。然而，我们需要预先训练一个繁琐的教师网络，并在学生网络训练过程中使用它的同步推理结果。这些过程的资源成本成为其实际应用的最终障碍。

为了避免培训额外的教师网络，现有技术在知识蒸馏方法的基础上提出了在线协同的知识蒸馏。该方法没有提前预设好的强弱师生关系，而是协调几个平行学生网络，并对它们进行迭代训练以学习互补的特征，从而构建一个更广泛的网络。然后融合了两个流的特征并将其传递给融合分类器。融合后的分类器和子网络的分类器的组合优于独立训练的网络。尽管如此，它面临以下挑战：(1)这种方法只关注融合分类器的性能。子网络的性能明显低于以相同结构独立训练的网络的性能，这意味着忽略了子网络和融合分类器之间的积极协同作用。这也会影响到融合分类器的性能；(2)因为她直接结合了特征图，所以它只适合用于子网络具有相同的结构时。

3、发明内容

本发明要解决的技术问题：针对现有的在线知识蒸馏方法所面临的上述技术问题，提供了一种基于在线协作与特征融合的知识蒸馏方法与系统，本命旨在充分利用学生网络的中间层和最后一层的特征，使得融合分类器和各个学生网络的准确度得到很大程度上的提升。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于在线协作与特征融合的知识蒸馏方法，包括采用基于在线协作与特征融合的知识蒸馏网络进行图像分类训练或应用，所述基于在线协作与特征融合的知识蒸馏网络包括相互连接的多尺度特征提取网络、特征累加和融合网络，双重注意力机制、融合模块和分类器网络，利用多尺度特征提取各个学生网络的中间层和最后一层的特征图，然后再将中间层特征累加起来，类似的操作也应用在中间层与最后一层，将获得的两层经过累加之后的特征图进行融合，将此次提前融合获得的特征图在经过双重注意力机制之后与其他网络中经过相同操作的特征图再次融合，可以获得融合的特征网络F_ij。

可选地，所述融合特征F_ij的函数表达式为：

上式中，n表示的是学生网络的数量F_i为从第i个学生网络获得的特征图，F_j为从第j个学生网络获得的特征图。