[发明专利]模型蒸馏方法、装置、电子设备及存储介质

说明书

本公开提供了一种模型蒸馏方法、装置、电子设备及存储介质，涉及深度学习以及计算机视觉等人工智能领域，其中的方法可包括：分别获取教师模型最后一层输出的第一分数以及学生模型最后一层输出的第二分数；根据第一分数和第二分数确定出JS散度；根据JS散度对学生模型进行蒸馏训练。应用本公开所述方案，可提升得到的学生模型的准确率。

技术领域

本公开涉及人工智能技术领域，特别涉及深度学习以及计算机视觉等领域，尤其涉及一种模型蒸馏方法、装置、电子设备及存储介质。

背景技术

在进行图像分类模型的训练时，可采用蒸馏的方式，即利用一个大模型去指导小模型进行训练学习，大模型通常称为教师模型，小模型通常称为学生模型，这样，得到的学生模型既具有较快的速度，又能够学习到教师模型的能力而具有较高的准确率。

目前的蒸馏方式中，通常会利用教师模型最后一层输出的分数以及学生模型最后一层输出的分数计算库尔贝克-莱布勒(KL，Kullback Leibler)散度(divergence)，但这种方式的实际效果往往不佳，学生模型很难学习到教师模型的能力，从而导致准确率较低。

发明内容

本公开提供了模型蒸馏方法、装置、电子设备及存储介质。

根据本公开的一个方面，提供了一种模型蒸馏方法，包括：

分别获取教师模型最后一层输出的第一分数以及学生模型最后一层输出的第二分数；

根据所述第一分数和所述第二分数确定出简森香农JS散度；

根据所述JS散度对所述学生模型进行蒸馏训练。

根据本公开的一个方面，提供了一种模型蒸馏装置，包括：获取模块、确定模块以及训练模块；

所述获取模块，用于分别获取教师模型最后一层输出的第一分数以及学生模型最后一层输出的第二分数；

所述确定模块，用于根据所述第一分数和所述第二分数确定出简森香农JS散度；

所述训练模块，用于根据所述JS散度对所述学生模型进行蒸馏训练。

根据本公开的一个方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如以上所述的方法。

根据本公开的一个方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行如以上所述的方法。

根据本公开的一个方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现如以上所述的方法。

上述公开中的一个实施例具有如下优点或有益效果：在利用教师模型对学生模型进行蒸馏训练时，可利用JS散度来代替KL散度，相比于KL散度，JS散度的蒸馏效果更好，从而提升了得到的学生模型的准确率，能够得到兼顾准确率和速度的学生模型等。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1为本公开所述模型蒸馏方法第一实施例的流程图；

图2为本公开所述得到新的训练图片的过程示意图；

图3为本公开所述模型蒸馏方法第二实施例的流程图；