[发明专利]一种神经网络蒸馏方法及装置

权利要求书

1.一种神经网络蒸馏方法，其特征在于，所述方法包括：

获取待处理数据、第一神经网络和第二神经网络，所述第一神经网络包括第一神经网络层，所述第二神经网络包括第二神经网络层；

通过所述第一神经网络和所述第二神经网络对所述待处理数据进行处理，以获取第一目标输出和第二目标输出；其中，所述第一目标输出为对所述第一神经网络层的输出进行基于核函数的变换得到的，所述第二目标输出为对所述第二神经网络层的输出进行基于核函数的变换得到的；

根据所述第一目标输出和所述第二目标输出，获取目标损失；

以所述第二神经网络为老师模型、所述第一神经网络为学生模型，至少根据所述目标损失，对所述第一神经网络进行知识蒸馏，以得到更新后的第一神经网络。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取目标数据，根据所述更新后的第一神经网络对所述目标数据进行处理，以得到处理结果。

3.根据权利要求1或2所述的方法，其特征在于，所述第一神经网络层和所述第二神经网络层为中间层。

4.根据权利要求1至3任一所述的方法，其特征在于，所述目标损失为根据所述第一目标输出和所述第二目标输出的均方误差、相对熵、JS(Jensen-Shannon)散度或wasserstein距离获取的。

5.根据权利要求1至4任一所述的方法，其特征在于，所述第一神经网络层包括第一权重，所述第二神经网络层包括第二权重，在所述对所述待处理数据进行处理时，所述第一神经网络层的输入为第一输入，所述第二神经网络层的输入为第二输入；

其中，所述第一目标输出表示映射至高维特征空间的所述第一权重与映射至高维特征空间的所述第一输入之间的距离度量；所述第二目标输出表示映射至高维特征空间的所述第二权重与映射至高维特征空间的所述第二输入之间的距离度量。

6.根据权利要求1至6任一所述的方法，其特征在于，所述第一神经网络的权重分布与所述第二神经网络的权重分布不同。

7.根据权利要求1至6任一所述的方法，其特征在于，所述第一神经网络的权重分布为拉普拉斯分布，所述第二神经网络的权重分布为高斯分布。

8.根据权利要求1至7任一所述的方法，其特征在于，所述第一神经网络为加法神经网络ANN，所述第二神经网络为卷积神经网络CNN。

9.根据权利要求1至8任一所述的方法，其特征在于，所述更新后的第一神经网络包括更新后的第一神经网络层，且所述第二神经网络和所述更新后的第一神经网络在对同一数据进行处理时，所述更新后的第一神经网络层的输出与所述第二神经网络层的输出的差异在预设范围内。

10.根据权利要求1至9任一所述的方法，其特征在于，所述根据所述第一目标输出和所述第二目标输出，获取目标损失，包括：

对所述第一目标输出进行线性变换，得到线性变换后的第一目标输出；

对所述第二目标输出进行线性变换，得到线性变换后的第二目标输出

根据所述线性变换后的第一目标输出和所述线性变换后的第二目标输出，获取目标损失。

11.根据权利要求1至10任一所述的方法，其特征在于，所述核函数包括如下的至少一种：

径向基核函数、拉普拉斯核函数、幂指数核函数、ANOVA核函数、二次有理核函数、多元二次核函数、逆多元二次核函数、sigmoid核函数、多项式核函数以及线性核函数。