[发明专利]学生模型的训练方法、装置及电子设备

权利要求书

1.一种学生模型的训练方法，其特征在于，所述学生模型通过知识蒸馏方式向已训练好的教师模型学习，所述学生模型和所述教师模型均为物体检测模型，所述方法包括：

获取训练样本的候选样本区域；

分别通过所述学生模型和所述教师模型对所述训练样本的候选样本区域进行特征提取，得到所述学生模型提取出的第一特征和所述教师模型提取出的第二特征；

通过求取所述第一特征的方差获取所述第一特征的置信度；

根据所述第一特征、所述第二特征和所述第一特征的置信度确定所述学生模型和所述教师模型之间的蒸馏损失；

基于所述蒸馏损失更新所述学生模型的参数；

其中，根据所述第一特征、所述第二特征和所述第一特征的置信度确定所述学生模型和所述教师模型之间的蒸馏损失的步骤，包括：

按照如下公式确定所述学生模型和所述教师模型之间的蒸馏损失：

其中，d为特征维度，N为样本数量；为所述第一特征；为所述第二特征；为所述方差。

2.根据权利要求1所述的方法，其特征在于，通过求取所述第一特征的方差获取所述第一特征的置信度的步骤，包括：

将所述第一特征输入至方差生成网络中，得到所述方差生成网络输出的所述第一特征的方差，通过所述方差表征所述第一特征的置信度；其中，所述方差生成网络包括卷积层和/或全连接层，且所述方差与所述置信度呈负相关。

3.根据权利要求1所述的方法，其特征在于，基于所述蒸馏损失更新所述学生模型的参数的步骤，包括：

获取所述学生模型执行物体检测任务的任务损失；

根据所述任务损失和所述蒸馏损失更新所述学生模型的参数。

4.根据权利要求1所述的方法，其特征在于，所述获取训练样本的候选样本区域的步骤，包括：

将所述训练样本输入至候选区域提取网络，得到候选样本区域。

5.根据权利要求1所述的方法，其特征在于，所述获取训练样本的候选样本区域的步骤，包括：

根据携带有真值框的标注信息确定训练样本的候选样本区域。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：

将待检测图像输入训练后的学生模型，基于所述训练后的学生模型对所述待检测图像进行物体检测，得到物体检测结果。

7.一种学生模型的训练装置，其特征在于，所述学生模型通过知识蒸馏方式向已训练好的教师模型学习，所述学生模型和所述教师模型均为物体检测模型，所述装置包括：

获取模块，用于获取训练样本的候选样本区域；

特征提取模块，用于分别通过所述学生模型和所述教师模型对所述训练样本的候选样本区域进行特征提取，得到所述学生模型提取出的第一特征和所述教师模型提取出的第二特征；

置信度获取模块，用于通过求取所述第一特征的方差获取所述第一特征的置信度；

蒸馏损失确定模块，用于根据所述第一特征、所述第二特征和所述第一特征的置信度确定所述学生模型和所述教师模型之间的蒸馏损失；

参数更新模块，用于基于所述蒸馏损失更新所述学生模型的参数；

其中，根据所述第一特征、所述第二特征和所述第一特征的置信度确定所述学生模型和所述教师模型之间的蒸馏损失时，所述蒸馏损失确定模块具体用于：

按照如下公式确定所述学生模型和所述教师模型之间的蒸馏损失：

其中，d为特征维度，N为样本数量；为所述第一特征；为所述第二特征；为所述方差。

8.一种电子设备，其特征在于，包括：处理器和存储装置；

所述存储装置上存储有计算机程序，所述计算机程序在被所述处理器运行时执行如权利要求1至6任一项所述的方法。

9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行上述权利要求1至6任一项所述的方法的步骤。