[发明专利]一种模型蒸馏方法、装置、计算机设备和存储介质

权利要求书

1.一种模型蒸馏方法，其特征在于，包括：

获取题目样本集和用于题目推荐的教师模型，其中，所述题目样本集包括第一题目样本子集和第二题目样本子集；

对所述第一题目样本子集中的题目样本进行数据增强，得到增强后题目样本；

利用所述增强后题目样本对所述教师模型进行模型增强，得到增强后教师模型；

利用所述增强后教师模型对所述第二题目样本子集中的题目样本进行识别，得到所述第二题目样本子集中题目样本的参考分布信息；

获取学生模型，利用所述学生模型对所述增强后教师模型识别得到的参考分布信息进行学习，得到目标学生模型。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一题目样本子集中的题目样本进行数据增强，得到增强后题目样本，包括：

对第一题目样本子集中的当前题目样本进行识别，得到所述第一题目样本子集中和所述当前题目样本具有预设关联关系的关联题目样本；

在所述第一题目样本子集中识别和所述关联题目样本具有预设关联关系的目标题目样本，其中，所述目标题目样本包括所述第一题目样本子集中除了所述当前题目样本以外的其他题目样本；

基于所述当前题目样本和所述关联题目样本之间的预设关联关系，以及所述关联题目样本和目标题目样本之间的预设关联关系，建立所述当前题目样本和所述目标题目样本之间的关联关系，得到所述增强后题目样本。

3.根据权利要求2所述的方法，其特征在于，所述基于所述当前题目样本和所述关联题目样本之间的预设关联关系，以及所述关联题目样本和目标题目样本之间的预设关联关系，建立所述当前题目样本和所述目标题目样本之间的关联关系，得到所述增强后题目样本，包括：

识别所述当前题目样本的知识点信息，以及所述目标题目样本的知识点信息；

将所述当前题目样本的知识点信息和所述目标题目样本的知识点信息进行对比，得到对比结果；

基于所述对比结果建立所述当前题目样本和所述目标题目样本之间的关联关系，得到所述增强后题目样本。

4.根据权利要求1所述的方法，其特征在于，所述教师模型为多个教师模型；所述利用所述增强后题目样本对所述教师模型进行模型增强，得到增强后教师模型，包括：

利用所述增强后题目样本对每个教师模型进行训练，得到每个教师模型对应的训练后教师模型；

根据训练后教师模型的训练结果，生成所述训练后教师模型的性能衡量指标，其中，所述性能衡量指标表征所述训练后教师模型进行题目推荐的质量；

根据每个训练后教师模型的性能衡量指标，将训练后教师模型组合成所述增强后教师模型。

5.根据权利要求4所述的方法，其特征在于，所述利用增强后题目样本对每个教师模型进行训练，得到每个教师模型对应的训练后教师模型，包括：

初始化每个增强后题目样本的权重系数，其中，所述权重系数表征增强后题目样本用于训练的价值；

利用所述增强后题目样本对教师模型进行训练，得到初始训练后教师模型和初始训练结果；

基于所述初始训练结果，对所述增强后题目样本的权重系数进行更新，得到所述增强后题目样本的更新后权重系数；

根据所述增强后题目样本的更新后权重系数，在所述增强后题目样本中筛选出目标使用题目样本；

利用所述目标使用题目样本对所述初始训练后教师模型进行训练，得到所述训练后教师模型。

6.根据权利要求4所述的方法，其特征在于，所述根据每个训练后教师模型的性能衡量指标，将训练后教师模型组合成所述增强后教师模型，包括：

基于所述性能衡量指标生成每个训练后教师模型生成的组合权重系数；

根据所述组合权重系数将每个训练后教师模型进行融合，得到融合后教师模型；

根据预设构造函数将所述融合后教师模型构造成所述增强后教师模型。