[发明专利]基于模型蒸馏的图像分类方法、装置和电子设备

权利要求书

1.一种基于模型蒸馏的图像分类方法，其特征在于，所述方法包括：

获取待处理图像；

将所述待处理图像输入学生模型中进行分类，得到分类后的分类结果，其中，所述学生模型是利用预先训练的教师模型及预设的损失函数对预先构建的学生网络进行训练得到。

2.根据权利要求1所述的基于模型蒸馏的图像分类方法，其特征在于，所述学生模型通过以下步骤训练得到：

获取原始图像和所述原始图像对应的标签，其中，所述标签通过对所述原始图像进行预先设定得到；

将所述原始图像作为训练样本，输入预先训练好的教师模型和预先构建好的学生网络中，得到所述教师模型输出的第一输出结果和所述学生网络输出的第二输出结果；

依据所述第一输出结果、所述第二输出结果及所述标签计算所述损失函数的损失值；

依据所述损失值，采用反向传播算法迭代更新所述学生网络的参数，直至迭代更新次数达到预设阈值，得到训练后的所述学生模型。

3.根据权利要求2所述的基于模型蒸馏的图像分类方法，其特征在于，所述第一输出结果包括第一中间层输出结果及第一最终层输出结果，所述第二输出结果包括第二中间层输出结果及第二最终层输出结果，所述损失函数包括第一局部损失函数、第二局部损失函数及全局损失函数；

所述依据所述第一输出结果、所述第二输出结果及所述标签计算所述损失函数的损失值的步骤包括：

依据所述第一中间层输出结果及所述标签，计算所述第一局部损失函数的第一输出值；

依据所述第二中间层输出结果及所述标签，计算所述第二局部损失函数的第二输出值；

依据所述第一最终层输出结果及所述第二最终层输出结果，计算所述全局损失函数的第三输出值；

计算所述第一输出值、所述第二输出值及所述第三输出值的和，得到所述损失值。

4.根据权利要求2所述的基于模型蒸馏的图像分类方法，其特征在于，所述依据所述第一输出结果、所述第二输出结果及所述标签计算所述损失函数的损失值的步骤包括：

依据所述标签对所述第一输出结果进行修正，得到修正后的第一输出结果；

依据所述修正后的第一输出结果、所述第二输出结果及所述标签计算所述损失函数的损失值。

5.根据权利要求3所述的基于模型蒸馏的图像分类方法，其特征在于，所述依据所述第一中间层输出结果及所述标签，计算所述第一局部损失函数的第一输出值的步骤包括：

获取预先构建的负样本集及预先构建的全零标签，其中，所述负样本集包括多个负样本；

获取所有所述负样本的权重，得到权重矩阵，其中，所述权重矩阵为根据所述标签对所有负样本的权重进行初始化后得到，或者，所述权重矩阵为根据所述损失值，采用反向传播算法对所有负样本的权重进行迭代更新后得到；

将所述第一中间层输出结果输入全连接层，利用所述全连接层对所述第一中间层输出结果进行特征提取，并计算特征提取后的第一中间层输出结果的L2范数，得到第一特征向量；

计算所述第一特征向量与所述权重矩阵的乘积，得到第一初步结果；

计算所述第一初步结果与所述全零标签的交叉熵损失函数，得到所述第一局部损失函数的第一输出值。

6.根据权利要求3所述的基于模型蒸馏的图像分类方法，其特征在于，所述依据所述第二中间层输出结果及所述标签，计算所述第二局部损失函数的第二输出值的步骤包括：

获取预先构建的负样本集及预先构建的全零标签，其中，所述负样本集包括多个负样本；

获取所有所述负样本的权重，得到权重矩阵，其中，所述权重矩阵为根据所述标签对所有负样本的权重进行初始化后得到，或者，所述权重矩阵为根据所述损失值，采用反向传播算法对所有负样本的权重进行迭代更新后得到；

将所述第二中间层输出结果输入全连接层，利用所述全连接层对所述第二中间层输出结果进行特征提取，并计算特征提取后的第二中间层输出结果的L2范数，得到第二特征向量；

计算所述第二特征向量与所述权重矩阵的乘积，得到第二初步结果；

计算所述第二初步结果与所述全零标签的交叉熵损失函数，得到所述第二局部损失函数的第二输出值。