[发明专利]用于知识蒸馏的网络训练方法、装置、介质与电子设备

说明书

本公开提供了一种用于知识蒸馏的网络训练方法、装置、存储介质与电子设备，涉及人工智能技术领域。该方法包括：将样本数据输入教师网络，获得所述样本数据对应的软标签数据，将所述样本数据输入学生网络，获得所述样本数据对应的预测数据；基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数；根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数。本公开可以对教师网络和学生网络同步训练，降低学生网络对于教师网络的依赖度，提高学生网络的训练效果，并且可以加速训练过程，提高效率。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种用于知识蒸馏的网络训练方法、用于知识蒸馏的网络训练装置、计算机可读存储介质与电子设备。

背景技术

深度学习作为人工智能领域的一个重要分支，近年来得到了快速的发展，出现了很多改进的深度学习方法，其中就包括知识蒸馏(Knowledge Distillation)。

知识蒸馏是模型压缩技术的一种具体实现方法，引入教师网络和学生网络，教师网络是相对复杂的网络模型，学生网络是相对精简的网络模型，利用样本数据训练教师网络，再以教师网络的输出训练学生网络，从而在学生网络上实现教师网络的处理功能，达到网络模型的精简等目的。

然而，在现有的知识蒸馏方法中，学生网络的训练极大地依赖于教师网络的质量，且由于网络设计、参数初值等因素的影响，学生网络可能无法很好的适应教师网络，这些问题都不利于学生网络训练的进行，导致无法得到高质量的网络模型。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供了一种用于知识蒸馏的网络训练方法、用于知识蒸馏的网络训练装置、计算机可读存储介质与电子设备，进而至少在一定程度上改善现有技术中存在的学生网络训练效果较差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种用于知识蒸馏的网络训练方法，包括：将样本数据输入教师网络，获得所述样本数据对应的软标签数据，将所述样本数据输入学生网络，获得所述样本数据对应的预测数据；基于所述预测数据、所述软标签数据和所述硬标签数据之间的误差，构建损失函数；根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数。

可选的，所述软标签数据包括通过所述教师网络对所述样本数据进行分类得到的第一概率数据，所述预测数据包括通过所述学生网络对所述样本数据进行分类得到的第二概率数据。

可选的，所述基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数，包括：根据所述预测数据和所述硬标签数据，构建第一子损失；根据所述预测数据和所述软标签数据，构建第二子损失；根据所述第一子损失和所述第二子损失，确定所述损失函数。

可选的，所述样本数据包括正样本，所述根据所述预测数据和所述软标签数据，构建第二子损失，包括：根据所述正样本对应的预测数据和所述正样本对应的软标签数据，构建所述第二子损失。

可选的，所述根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数，包括：根据所述损失函数和所述正样本对应的预测数据，更新所述学生网络中的参数；根据所述损失函数和所述正样本对应的软标签数据，更新所述教师网络中的参数。

可选的，所述正样本对应的预测数据包括对所述正样本的学生预测值和所述学生预测值对应的概率，所述根据所述损失函数和所述正样本对应的预测数据，更新所述学生网络中的参数，包括：根据所述损失函数对所述学生预测值的梯度，更新所述学生网络中的参数，使所述学生预测值对应的概率趋近于1。