[发明专利]学生模型的训练方法、装置及电子设备

权利要求书

1.一种学生模型的训练方法，包括：

将训练样本分别输入学生模型和教师模型中进行训练；

获取所述学生模型和所述教师模型在嵌入层上的第一误差，包括：

根据所述学生模型中嵌入层输出的第一特征表示，以及所述教师模型中嵌入层输出的第二特征表示，获取所述第一误差；

所述嵌入层输出的特征表示包括所述训练样本中每个元素的特征值，其中，所述根据所述学生模型中嵌入层输出的特征表示，以及所述教师模型中嵌入层输出的特征表示，获取所述第一误差，包括：

获取所述学生模型中嵌入层输出的所述元素的第一特征值，以及所述教师模型中嵌入层输出的所述元素的第二特征值；针对同一个所述元素，根据所述第一特征值和所述第二特征值，获取所述元素的第一均方误差，并将每个所述元素对应的第一均方误差求和，获取所述第一误差；

获取所述学生模型和所述教师模型在中间层上的第二误差，包括：

根据所述学生模型中每个第一中间层输出的第三特征表示，以及所述教师模型中与所述第一中间层匹配的第二中间层输出的第四特征表示，获取所述第二误差；

所述根据所述学生模型中每个第一中间层输出的第三特征表示，以及所述教师模型中与所述第一中间层匹配的第二中间层输出的第四特征表示，获取所述第二误差，包括：

针对每个所述第一中间层，根据所述第一中间层的所述第三特征表示以及所述匹配的第二中间层的所述第四特征表示，获取所述第一中间层的第二均方误差，并将每个所述第一中间层对应的第二均方误差求和，获取所述第二误差；

获取所述学生模型与所述教师模型在输出层上的损失函数，包括：

获取所述学生模型中输出层输出的第一预测概率分布，以及所述教师模型中输出层输出的第二预测概率分布；

根据所述第一预测概率分布和所述第二预测概率分布，确定实际类别对应的第一损失函数，以及预测类别对应的第二损失函数，包括：

从所述第一预测概率分布中，获取所述训练样本所属的实际类别对应的目标预测概率，并根据所述目标预测概率，确定所述第一损失函数；针对所有类别中的任一类别，从所述第一预测概率分布中，获取所述任一类别对应的第一预测概率，并从所述第二预测概率分布中，获取所述任一类别对应的第二预测概率；根据所述任一类别的所述第一预测概率和所述第二预测概率，确定所述任一类别的损失值，并将每个所述类别的所述损失值求和，获取所述第二损失函数；

对所述第一损失函数和所述第二损失函数进行加权，获取所述损失函数；

根据所述第一误差、所述第二误差和所述损失函数，确定所述学生模型的总损失函数，并基于所述总损失函数对所述学生模型的模型参数进行调整，并继续使用下一个训练样本对调整模型参数的所述学生模型训练，直至训练结束，生成目标学生模型。

2.根据权利要求1所述的方法，其中，所述根据所述第一误差、所述第二误差和所述损失函数，确定所述学生模型的总损失函数，包括：

对所述第一误差、所述第二误差和所述损失函数进行加权，获取所述总损失函数。

3.根据权利要求1所述的方法，其中，所述学生模型的第i个第一中间层与所述教师模型的第j个第二中间层匹配，其中，所述i与所述j之间间隔设定层数，其中，所述i、j均大于或者等于零。

4.根据权利要求3所述的方法，其中，初始的所述学生模型中每层的模型参数与所述教师模型中对应层的模型参数相同。