[发明专利]一种模型蒸馏方法、装置、计算机设备和存储介质

说明书

本申请实施例公开了一种模型蒸馏方法、装置、计算机设备和存储介质；本申请实施例可以获取题目样本集和用于题目推荐的教师模型，其中，题目样本集包括第一题目样本子集和第二题目样本子集；对第一题目样本子集中的题目样本进行数据增强，得到增强后题目样本；利用增强后题目样本对教师模型进行模型增强，得到增强后教师模型；利用增强后教师模型对第二题目样本子集中的题目样本进行识别，得到第二题目样本子集中题目样本的参考分布信息；获取学生模型，利用学生模型对增强后教师模型识别得到的参考分布信息进行学习，得到目标学生模型，提高了题目推荐的效果。

技术领域

本申请涉及计算机技术领域，具体涉及一种模型蒸馏方法、装置、计算机设备和存储介质。

背景技术

随着人工智能技术的不断发展，已经衍生出了许多应用技术。例如，可以将人工智能技术应用到教育领域，通过人工智能技术为学生推荐题目，等等。例如，可以通过训练人工智能模型，从而可以利用人工智能模型为学生推荐题目。但是，题目推荐往往重视高效果和实时性。若为了追求高效果，人工智能模型的结构会较为复杂，而复杂的模型进行题目的推荐会比较耗时，从而造成推荐不够实时。现有技术一般是通过模型蒸馏解决该问题，即将具有复杂结构的模型通过蒸馏获取到结构简单的模型，从而提高模型推荐的实时性，但是，与此同时，模型进行题目推荐的效果会下降得非常明显。

发明内容

本申请实施例提出了一种模型蒸馏方法、装置、计算机设备和存储介质，可以实现在利用人工智能模型进行题目推荐时，即兼顾题目推荐的实时性，又兼顾题目推荐的质量。

本申请实施例提供了一种模型蒸馏方法，包括：

获取题目样本集和用于题目推荐的教师模型，其中，所述题目样本集包括第一题目样本子集和第二题目样本子集；

对所述第一题目样本子集中的题目样本进行数据增强，得到增强后题目样本；

利用所述增强后题目样本对所述教师模型进行模型增强，得到增强后教师模型；

利用所述增强后教师模型对所述第二题目样本子集中的题目样本进行识别，得到所述第二题目样本子集中题目样本的参考分布信息；

获取学生模型，利用所述学生模型对所述增强后教师模型识别得到的参考分布信息进行学习，得到目标学生模型。

相应的，本申请实施例还提供了一种模型蒸馏装置，包括：

获取单元，用于获取题目样本集和用于题目推荐的教师模型，其中，所述题目样本集包括第一题目样本子集和第二题目样本子集；

数据增强单元，用于对所述第一题目样本子集中的题目样本进行数据增强，得到增强后题目样本；

模型增强单元，用于利用所述增强后题目样本对所述教师模型进行模型增强，得到增强后教师模型；

识别单元，用于利用所述增强后教师模型对所述第二题目样本子集中的题目样本进行识别，得到所述第二题目样本子集中题目样本的参考分布信息；

蒸馏单元，用于获取学生模型，利用所述学生模型对所述增强后教师模型识别得到的参考分布信息进行学习，得到目标学生模型。

在一实施例中，所述数据增强单元，可以包括：

第一关系识别子单元，用于对第一题目样本子集中的当前题目样本进行识别，得到所述第一题目样本子集中和所述当前题目样本具有预设关联关系的关联题目样本；

第二关系识别子单元，用于在所述第一题目样本子集中识别和所述关联题目样本具有预设关联关系的目标题目样本，其中，所述目标题目样本包括所述第一题目样本子集中除了所述当前题目样本以外的其他题目样本；