[发明专利]一种神经网络蒸馏方法及装置

说明书

本申请公开了一种神经网络蒸馏方法，应用于人工智能领域，包括：通过第一神经网络和第二神经网络对待处理数据进行处理，以获取第一目标输出和第二目标输出，第一目标输出为对第一神经网络层的输出进行基于核函数的变换得到的，第二目标输出为对第二神经网络层的输出进行基于核函数的变换得到的；根据第一目标输出和第二目标输出构建的目标损失对第一神经网络进行知识蒸馏。本申请对第一神经网络层的输出和第二神经网络层的输出进行了基于核函数的变换，进而可以将第一神经网络层和第二神经网络层输入和权重映射到高维特征空间，消除了知识蒸馏时由于神经网络层的权重分布不同而造成的网络性能降低。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络蒸馏方法及装置。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

知识蒸馏采用的是迁移学习，通过采用预先训练好的复杂模型的输出作为监督信号去训练另外一个简单的网络。所谓模型蒸馏就是将训练好的复杂模型推广能力“知识”迁移到一个结构更为简单的网络中。或者通过简单的网络去学习复杂模型中“知识”。在进行知识蒸馏时，可以通过采用预先训练好的复杂网络去训练另外一个简单的网络，以使得简单的网络可以具有和复杂网络相同或相似的数据处理能力。

在进行知识蒸馏时，也可以通过采用预先训练好的一种类型的网络去训练另一种类型的网络，以使得上述两种类型的网络可以具有相同或相似的数据处理能力，即可以以一种类型的网络作为老师模型，以另一种类型的网络作为学生模型，对学生模型进行知识蒸馏，以使得学生模型可以具有和老师模型相同或相似的数据处理能力。

然而，在一些场景中，上述学生模型和老师模型中神经网络层的权重分布可能不同，如果基于现有的知识蒸馏方法对学生模型进行知识蒸馏，则会使得学生模型和老师模型中，具有不同权重分布的神经网络层的输出是相同或者相似的，知识蒸馏后得到的模型的性能较差。

发明内容

第一方面，本申请提供了一种神经网络蒸馏方法，所述方法包括：

获取待处理数据、第一神经网络和第二神经网络，所述第一神经网络包括第一神经网络层，所述第二神经网络包括第二神经网络层；

其中，第一神经网络可以是学生网络，第二神经网络可以是老师网络；

第一神经网络层和第二神经网络层在后续进行知识蒸馏时对应的神经网络层，在功能上，我们希望知识蒸馏之后的第一神经网络在和第二神经网络进行相同的数据处理时，第一神经网络层和第二神经网络层的输出(经过基于核函数的变换)是相同或者相似的，在结构上，第一神经网络层和第二神经网络层分别在各自的神经网络中所处的位置是一致或者相似的，例如，当第一神经网络和第二神经网络包括相同数量的神经网络层，在这种情况下，第一神经网络中的第一神经网络层为从输入层开始计数的第N层，第二神经网络中的第二神经网络层也为从输入层开始计数的第N层(或者第N层附近的某一层)；例如，当第一神经网络和第二神经网络包括不同数量的神经网络层，在这种情况下，第一神经网络层和第二神经网络层分别在各自的神经网络中所处的相对位置是一致或者相似的，第一神经网络包括A个神经网络层，第二神经网络包括B个神经网络层，则第一神经网络层为从输入层开始计数的第A/n层，第二神经网络中的第二神经网络层为从输入层开始计数的第B/n层(或者第B/n层附近的某一层)。

其中，待处理数据与第一神经网络和第二神经网络的功能有关，例如当第一神经网络和第二神经网络用于进行图像分类，则待处理数据可以是图像数据。