[发明专利]一种结合动态词汇增强的模型蒸馏方法

权利要求书

1.一种结合动态词汇增强的模型蒸馏方法，其特征在于，包括：

步骤1：在ALBert语言模型的基础上，通过微调技术以及动态词汇增强技术对该语言模型进行微调，得到微调后的语言模型，将其作为教师模型；

步骤2：对教师模型进行蒸馏，将获取的模型预测结果作为学生模型的训练依据；

所述动态词汇增强技术通过在教师模型的网络结构中添加词典信息实现；其中，所述词典信息为针对不同的专业领域而收集的相应的专业信息构成的信息集合；

所述对语言模型进行微调的过程包括：将词典信息的特征与语言模型的输出特征进行合并后，再对语言模型进行微调。

2.根据权利要求1所述的一种结合动态词汇增强的模型蒸馏方法，其特征在于，所述步骤2具体包括：将语言模型的输出特征与词典信息的特征合并为embedding向量，再将embedding向量输入至教师模型的全连接层，通过该全连接层对embedding向量进行降维操作，然后再连接进条件随机场，通过条件随机场对教师模型中的原句的每个token做出预测，将该预测结果作为学生模型的训练依据。

3.根据权利要求2所述的一种结合动态词汇增强的模型蒸馏方法，其特征在于，所述蒸馏方法还包括：

计算蒸馏过程中的损失值，其具体过程如下：通过计算教师模型和学生模型之间预测值的差，将两者预测值的差和学生模型的损失值加在一起来计算整个蒸馏过程的损失值，从而实现蒸馏过程中损失值的梯度更新。