[发明专利]模型蒸馏方法、装置、电子设备及存储介质

权利要求书

1.一种模型蒸馏方法，包括：

分别获取教师模型最后一层输出的第一分数以及学生模型最后一层输出的第二分数；

根据所述第一分数和所述第二分数确定出简森香农JS散度；

根据所述JS散度对所述学生模型进行蒸馏训练。

2.根据权利要求1所述的方法，还包括：采用数据增强的方式训练得到所述教师模型。

3.根据权利要求1所述的方法，其中，所述根据所述第一分数和所述第二分数确定出JS散度包括：

获取所述第一分数与所述第二分数的均值；

根据所述第一分数和所述均值确定出第一库尔贝克-莱布勒KL散度；

根据所述第二分数和所述均值确定出第二KL散度；

根据所述第一KL散度和所述第二KL散度确定出所述JS散度。

4.根据权利要求1所述的方法，其中，所述根据所述第一分数和所述第二分数确定出JS散度包括：

当所述教师模型的数量大于1时，计算获取到的各教师模型最后一层输出的第一分数的均值，根据所述均值及所述第二分数确定出所述JS散度。

5.根据权利要求1所述的方法，其中，所述对所述学生模型进行蒸馏训练包括：采用数据增强的方式对所述学生模型进行蒸馏训练。

6.根据权利要求2或5所述的方法，其中，所述数据增强的方式包括：切割混合CutMix方式。

7.根据权利要求1～5中任一项所述的方法，其中，所述对所述学生模型进行蒸馏训练包括：

采用第一学习速率对所述学生模型进行蒸馏训练，所述第一学习速率小于所述学生模型的原始学习速率。

8.一种模型蒸馏装置，包括：获取模块、确定模块以及训练模块；

所述获取模块，用于分别获取教师模型最后一层输出的第一分数以及学生模型最后一层输出的第二分数；

所述确定模块，用于根据所述第一分数和所述第二分数确定出简森香农JS散度；

所述训练模块，用于根据所述JS散度对所述学生模型进行蒸馏训练。

9.根据权利要求8所述的装置，其中，

所述获取模块进一步用于，采用数据增强的方式训练得到所述教师模型。

10.根据权利要求8所述的装置，其中，

所述确定模块进一步用于，获取所述第一分数与所述第二分数的均值，根据所述第一分数和所述均值确定出第一库尔贝克-莱布勒KL散度，根据所述第二分数和所述均值确定出第二KL散度，根据所述第一KL散度和所述第二KL散度确定出所述JS散度。

11.根据权利要求8所述的装置，其中，

所述获取模块进一步用于，当所述教师模型的数量大于1时，计算获取到的各教师模型最后一层输出的第一分数的均值；

所述确定模块进一步用于，根据所述均值及所述第二分数确定出所述JS散度。

12.根据权利要求8所述的装置，其中，所述训练模块进一步用于，采用数据增强的方式对所述学生模型进行蒸馏训练。

13.根据权利要求9或12所述的装置，其中，所述数据增强的方式包括：切割混合CutMix方式。

14.根据权利要求8～12中任一项所述的装置，其中，

所述训练模块进一步用于，采用第一学习速率对所述学生模型进行蒸馏训练，所述第一学习速率小于所述学生模型的原始学习速率。