[发明专利]任务牵引的特征蒸馏深度神经网络学习训练方法及系统、可读存储介质

说明书

本发明一种任务牵引的特征蒸馏深度神经网络学习训练方法及系统、可读存储介质，以数据驱动方式进行特征蒸馏，稳定有效，能够显著提升蒸馏训练的精度。本发明在深度神经网络不同深度的下采样层之前，均增加被训练成执行与深度神经网络相同任务的辅助分类器；辅助分类器通过任务损失训练，从教师模型的整个特征中捕获面向任务特征；采用特征蒸馏损失训练，将教师模型中捕获的面向任务特征提取到学生模型中，用于任务牵引的特征蒸馏深度神经网络学习训练。通过辅助分类器，对面向任务特征通过任务损失实现提取，通过特征蒸馏损失面向任务特征的传递，实现了面向任务的特征蒸馏，用于从教师到学生的面向任务的信息的提取，实现高效可靠的知识蒸馏。

技术领域

本发明涉及深度神经网络的知识蒸馏，具体为任务牵引的特征蒸馏深度神经网络学习训练方法及系统、可读存储介质。

背景技术

近年来，在自然语言处理和计算机视觉等各种应用中，深度神经网络已经取得了显著的成就。然而，神经网络的成功总是伴随着模型参数和计算的爆炸性增长，这限制了神经网络在例如移动电话和嵌入式设备之类的边缘设备上的部署。已经提出各种技术来解决此问题，包括修剪、量化、轻量化模型设计和知识蒸馏。

Hinton等人首先提出蒸馏的概念，其中训练轻量化学生模型以模拟过度参数化的教师模型的SoftMax输出，即对数。然后，提出了丰富的特征蒸馏方法，鼓励学生模型模仿教师模型的特征。由于教师模型的特征具有比对数更多的信息，因此特征蒸馏使得学生模型能够学习更丰富的信息，并且始终可以提高精度。如图1所示，现有技术中，大多数特征蒸馏方法不是直接学习教师模型的所有特征，而是首先将变换函数应用于特征以将它们转换成易于蒸馏的形式，然后将它们提取给学生。特征蒸馏是知识蒸馏中的一种主要方法，其能够使得蒸馏精度的显著提高，但是大多数现有方法通过手动设计的变换来提取教师网络中的特征；并且在此过程中，有一些不重要的信息被过滤；然而，哪种形式的信息最适合蒸馏，以及哪种变换函数可以提取这种形式的信息，这些仍然是未知的，导致现有的知识蒸馏的可靠性和精度无法满足实际的需求。

发明内容

针对现有技术中存在的问题，本发明提供一种任务牵引的特征蒸馏深度神经网络学习训练方法及系统、可读存储介质，以数据驱动方式进行特征蒸馏，设计合理，稳定有效，能够显著提升蒸馏训练的精度。

本发明是通过以下技术方案来实现：

任务牵引的特征蒸馏深度神经网络学习训练方法，包括，

在深度神经网络不同深度的下采样层之前，均增加被训练成执行与深度神经网络相同任务的辅助分类器；

所述的辅助分类器通过任务损失训练，从教师模型的整个特征中捕获面向任务特征；采用特征蒸馏损失训练，将教师模型中捕获的面向任务特征提取到学生模型中，用于任务牵引的特征蒸馏深度神经网络学习训练。

优选的，所述的辅助分类器由多个卷积层、池化层和全连接层组成。

进一步，通过对数蒸馏损失训练辅助分类器卷积层的卷积变化函数和全连接层。

再进一步，所述的对数蒸馏损失的公式如下，

其中，L_KL是KL发散损失，为训练对象，为对应的标签，F_i(·)表示为第i个卷积阶段的特征映射，将C_i(·)表示为第i个卷积阶段中的全连接层，上标t和s分别表示教师模型和学生模型，N为对应神经网络中卷积层的数量。

优选的，所述的辅助分类器采用如下的面向任务的特征蒸馏损失函数进行任务损失训练和特征蒸馏损失训练，