[发明专利]用于知识蒸馏的网络训练方法、装置、介质与电子设备

权利要求书

1.一种用于知识蒸馏的网络训练方法，其特征在于，包括：

将样本数据输入教师网络，获得所述样本数据对应的软标签数据，将所述样本数据输入学生网络，获得所述样本数据对应的预测数据；

基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数；

根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数；

其中，所述教师网络和所述学生网络用于图像分类，所述样本数据包括样本图片，所述硬标签数据包括所述样本图片的分类标签，所述软标签数据包括通过所述教师网络识别所述样本图片中存在目标对象的概率数据，所述预测数据包括通过所述学生网络识别所述样本图片中存在目标对象的概率数据；

所述损失函数为：

其中，L为所述损失函数，i表示所述硬标签数据的类别，y_i为第i类硬标签数据，为第i类硬标签数据对应的预测数据，为第i类硬标签数据对应的软标签数据；∈为经验参数，min(y_i)∈max(y_i)；a、b、c均为非负的权重参数，b不为0，且a和c中至少一个不为0。

2.根据权利要求1所述的方法，其特征在于，所述基于所述预测数据、所述软标签数据和所述样本数据对应的硬标签数据，构建损失函数，包括：

根据所述预测数据和所述硬标签数据，构建第一子损失；

根据所述预测数据和所述软标签数据，构建第二子损失；

根据所述第一子损失和所述第二子损失，确定所述损失函数。

3.根据权利要求2所述的方法，其特征在于，所述样本数据包括正样本；所述根据所述预测数据和所述软标签数据，构建第二子损失，包括：

根据所述正样本对应的预测数据和所述正样本对应的软标签数据，构建所述第二子损失。

4.根据权利要求3所述的方法，其特征在于，所述根据所述损失函数更新所述教师网络中的参数和所述学生网络中的参数，包括：

根据所述损失函数和所述正样本对应的预测数据，更新所述学生网络中的参数；

根据所述损失函数和所述正样本对应的软标签数据，更新所述教师网络中的参数。

5.根据权利要求4所述的方法，其特征在于，所述正样本对应的预测数据包括对所述正样本的学生预测值和所述学生预测值对应的概率；所述根据所述损失函数和所述正样本对应的预测数据，更新所述学生网络中的参数，包括：

根据所述损失函数对所述学生预测值的梯度，更新所述学生网络中的参数，使所述学生预测值对应的概率趋近于1。

6.根据权利要求5所述的方法，其特征在于，所述正样本对应的软标签数据包括对所述正样本的教师预测值和所述教师预测值对应的概率，所述根据所述损失函数对所述学生预测值的梯度，更新所述学生网络中的参数，使所述学生预测值对应的概率趋近于1，包括：

根据所述损失函数对所述学生预测值的梯度，以及所述学生预测值和所述教师预测值之间的误差，更新所述学生网络中的参数，使所述学生预测值对应的概率趋近于1和所述教师预测值对应的概率。

7.根据权利要求5所述的方法，其特征在于，所述正样本对应的软标签数据包括对所述正样本的教师预测值和所述教师预测值对应的概率，所述根据所述损失函数和所述正样本对应的软标签数据，更新所述教师网络中的参数，包括：

根据所述损失函数对所述教师预测值的梯度，更新所述教师网络中的参数，使所述教师预测值对应的概率趋近于1。