[发明专利]一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质

权利要求书

1.一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法，其特征在于，具体步骤如下：

A、训练过程

(1)构建虚拟教师网络，将数据集的图像经过虚拟教师网络处理后，得到虚拟教师网络的输出值

(2)将数据集的图像经过学生网络处理后，得到图片属于每个类别的概率输出值，再将此概率输出值经过硬标签式、软标签式两种不同处理，由学生网络输出识别图片样本属于某一类别的概率p(k)，和由软化后的学生网络输出的属于某一类别的概率p_τ(k)；

(3)先将学生网络硬标签预测输出p(k)与真实分布q(k)加权，数据集中关于每个图片都有自带的类别标签，将这个标签分布记为真实分布q(k)；

再将虚拟教师网络的输出与学生网络的软标签预测输出p_τ(k)进行加权，是指虚拟教师网络的输出p^c(k)在温度τ软化后的输出；

最后，将这两个加权的部分用权重参数α进行组合加权，由置信惩罚正则化的有关规则定义损失函数L(θ)，如式(I)所示：

H(q(k)，p(k))为q(k)与p(k)间的交叉熵；为KL散度；

B、图像分类

将待分类的图像输入虚拟教师网络、训练好的学生网络，输出图像分类结果。

2.根据权利要求1所述的一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法，其特征在于，步骤(1)中，构建虚拟教师网络，定义函数如式(II)所示：

式(I)中，p^c(k)来表示虚拟教师网络的预测分布；K是数据集中图片的类别总数，c是正确标签，a是正确分类的概率，当预测的类别k是正确标签时，令输出正确分类的概率a≥0.9，当预测的是错误标签时，让各个错误标签平分余下的概率1-a。

3.根据权利要求1所述的一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法，其特征在于，步骤(2)中，运用MobileNetV2网络作为学生网络，数据集中的图像经过学生网络处理后，得到图片属于每个类别的概率输出值，再将此概率输出值经过硬标签式(III)、软标签式(VI)两种不同处理，式(III)、式(VI)如下所示：

式(III)、式(VI)中，p(k)是学生网络输出的识别图片样本属于第k类的概率，p_τ(k)是软化后学生网络输出的属于第k类的概率，z_i是学生网络输出的logits，其中i表示第i类，同样的z_k表示第k类的logits，K为图片的类别总数，exp()是指数运算；τ为温度参数。

4.根据权利要求1所述的一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法，其特征在于，步骤(3)中，片(q(k)，p(k))为q(k)与p(k)间的交叉熵，具体计算公式如式(V)所示：

为KL散度，度量p_τ(k)和之间的差异，具体计算公式如式(VI)所示：

5.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-4任一所述基于置信惩罚正则化的自我知识蒸馏的图像分类方法的步骤。

6.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-4任一所述基于置信惩罚正则化的自我知识蒸馏的图像分类方法的步骤。