[发明专利]学生模型的训练方法、装置及电子设备

说明书

本发明提供了一种学生模型的训练方法、装置及电子设备，涉及人工智能领域，学生模型通过知识蒸馏方式向已训练好的教师模型学习，学生模型和教师模型均为物体检测模型，该方法包括：获取训练样本的候选样本区域；分别通过学生模型和教师模型对训练样本的候选样本区域进行特征提取，得到学生模型提取出的第一特征和教师模型提取出的第二特征；获取第一特征的置信度；根据第一特征、第二特征和第一特征的置信度确定学生模型和教师模型之间的蒸馏损失；基于蒸馏损失更新学生模型的参数。本发明可以使学生模型能够针对不同样本进行不同程度的参数更新，使训练好的学生模型具有更优秀的性能，从而提升物体检测效果。

技术领域

本发明涉及人工智能领域，尤其是涉及一种学生模型的训练方法、装置及电子设备。

背景技术

知识蒸馏是一种模型压缩常见方法，在教师-学生框架中，将复杂、学习能力强的教师模型学到的特征表示“知识”蒸馏出来，传递给参数量小、学习能力弱的学生网络。由于物体检测的知识蒸馏中样本数量通常较大，而样本质量却参差不及，诸如样本中可能包括脏样本或过难样本，如果一味要求学生模型在所有样本上进行模仿，会严重影响学生模型的性能，学生模型在训练过程中的蒸馏效果较差，从而导致学生模型在物体检测时的检测效果不佳。

发明内容

有鉴于此，本发明的目的在于提供一种学生模型的训练方法、装置及电子设备，使得学生模型能够针对不同样本进行不同程度的参数更新，使训练好的学生模型具有更优秀的性能，从而提升物体检测效果。

为了实现上述目的，本发明实施例采用的技术方案如下：

第一方面，本发明实施例提供了一种学生模型的训练方法，学生模型通过知识蒸馏方式向已训练好的教师模型学习，学生模型和教师模型均为物体检测模型，方法包括：获取训练样本的候选样本区域；分别通过学生模型和教师模型对训练样本的候选样本区域进行特征提取，得到学生模型提取出的第一特征和教师模型提取出的第二特征；获取第一特征的置信度；根据第一特征、第二特征和第一特征的置信度确定学生模型和教师模型之间的蒸馏损失；基于蒸馏损失更新学生模型的参数。

进一步，获取第一特征的置信度的步骤，包括：将第一特征输入至方差生成网络中，得到方差生成网络输出的第一特征的方差，通过方差表征第一特征的置信度；其中，方差生成网络包括卷积层和/或全连接层，且方差与置信度呈负相关。

进一步，根据第一特征、第二特征和第一特征的置信度确定学生模型和教师模型之间的蒸馏损失的步骤，包括：按照如下公式确定学生模型和教师模型之间的蒸馏损失：

其中，d为特征维度，N为样本数量；为第一特征；为第二特征；为方差。

进一步，基于蒸馏损失更新学生模型的参数的步骤，包括：获取学生模型执行物体检测任务的任务损失；根据任务损失和蒸馏损失更新学生模型的参数。

进一步，获取训练样本的候选样本区域的步骤，包括：将训练样本输入至候选区域提取网络，得到候选样本区域。

进一步，获取训练样本的候选样本区域的步骤，包括：根据携带有真值框的标注信息确定训练样本的候选样本区域。

进一步，方法还包括：将待检测图像输入训练后的学生模型，基于训练后的学生模型对待检测图像进行物体检测，得到物体检测结果。

第二方面，本发明实施例还提供一种学生模型的训练装置，学生模型通过知识蒸馏方式向已训练好的教师模型学习，学生模型和教师模型均为物体检测模型，装置包括：获取模块，用于获取训练样本的候选样本区域；特征提取模块，用于分别通过学生模型和教师模型对训练样本的候选样本区域进行特征提取，得到学生模型提取出的第一特征和教师模型提取出的第二特征；置信度获取模块，用于获取第一特征的置信度；蒸馏损失确定模块，用于根据第一特征、第二特征和第一特征的置信度确定学生模型和教师模型之间的蒸馏损失；参数更新模块，用于基于蒸馏损失更新学生模型的参数。