[发明专利]基于知识蒸馏的模型训练方法及装置

权利要求书

1.一种基于知识蒸馏的模型训练方法，所述方法包括：

利用第一数据集训练第一模型；

基于数据增强技术对所述第一数据集进行扩展，得到第二数据集；

利用所述第一模型、第一数据集与第二数据集训练第二模型，确定所述第二模型的损失函数。

2.根据权利要求1所述的方法，其特征在于，利用所述第一模型、第一数据集与第二数据集训练第二模型，确定所述第二模型的损失函数，包括：

利用第一模型的逻辑输出训练所述第二模型，得到第一损失函数；

利用第一数据集与第二数据集训练所述第二模型，得到第二损失函数；

根据所述第一损失函数与第二损失函数确定所述第二模型的损失函数。

3.根据权利要求2所述的方法，其特征在于，利用第一模型的逻辑输出训练所述第二模型，得到第一损失函数，包括：

将同一样本数据分别输入所述第一模型与第二模型，得到第一逻辑输出与第二逻辑输出；

基于所述第一逻辑输出与第二逻辑输出的均方误差确定为所述第一损失函数。

4.根据权利要求2所述的方法，其特征在于，利用第一数据集与第二数据集训练所述第二模型，得到第二损失函数，包括：

利用第二模型对所述第一数据集与第二数据集中的数据进行预测，确定所述数据的预测标注信息；

根据所述数据的预测标注信息与所述数据携带的标注信息的交叉熵，确定所述第二损失函数。

5.根据权利要求2所述的方法，其特征在于，根据所述第一损失函数与第二损失函数确定所述第二模型的损失函数，包括：

获取所述第一损失函数与第二损失函数的占比系数；

根据所述占比系数对所述第一损失函数与第二损失函数进行加权求和，确定所述第二模型的损失函数。

6.根据权利要求1所述的方法，其特征在于，在利用第一数据集训练第一模型之前，所述方法还包括：

构建第一模型，所述第一模型的模型结构中含有第二模型的模型结构。

7.根据权利要求6所述的方法，其特征在于，所述第二模型采用TextCNN模型，所述构建第一模型包括：

将BERT模型与TextCNN模型组合构建所述第一模型，其中，BERT模型的输出作为所述TextCNN模型的输入，所述第一模型的输入为所述BERT模型的输入，所述第一模型的输出为所述TextCNN模型的输出。

8.一种基于知识蒸馏的模型训练装置，所述装置包括：

训练单元，用于利用第一数据集训练第一模型；

扩展单元，用于基于数据增强技术对所述第一数据集进行扩展，得到第二数据集；

确定单元，用于利用所述训练单元得到的第一模型、所述第一数据集与所述扩展单元得到的第二数据集训练第二模型，确定所述第二模型的损失函数。

9.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1-7中任意一项所述的基于知识蒸馏的模型训练方法。

10.一种存储介质，其特征在于，所述存储介质用于存储计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行权利要求1-7中任意一项所述的基于知识蒸馏的模型训练方法。