[发明专利]知识蒸馏方法、装置、终端设备及介质

说明书

本申请适用于人工智能技术领域，提供了一种知识蒸馏方法、装置、终端设备及介质，该方法包括：指示学生模型和收敛后的教师模型，分别对样本集中的测试样本进行实体识别，得到预测序列和序列概率；根据教师模型和学生模型的预测序列和序列概率，对学生模型进行参数更新；若参数更新后的学生模型未收敛，则返回执行指示学生模型和收敛后的教师模型，分别对样本集中的测试样本进行实体识别的步骤，直至学生模型收敛。本申请由于基于预测序列和序列概率进行计算的复杂度较低，使得基于教师模型和学生模型的预测序列和序列概率，对学生模型进行参数更新的速度较快，提高了知识蒸馏效率。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种知识蒸馏方法、装置、终端设备及介质。

背景技术

随着深度学习模型的参数量越来越大，模型压缩相关技术在深度学习模型的使用过程中就尤为重要。在模型压缩的方法中，知识蒸馏方法最受关注，知识蒸馏是通过构建教师模型和学生模型，由教师网络模型指导学生网络模型的训练，将网络结构复杂、参数量大、学习能力强的教师模型所学到关于特征表示的“知识”，“蒸馏”出来，将这些知识迁移到模型结构简单、参数量少、学习能力弱的学生模型。

现有的知识蒸馏方法使用过程中，计算程度复杂，导致知识蒸馏效率较低。

发明内容

有鉴于此，本申请实施例提供了一种知识蒸馏方法、装置、终端设备及介质，以解决现有技术中，知识蒸馏效率低的问题。

本申请实施例的第一方面提供了一种知识蒸馏方法，包括：

指示学生模型和收敛后的教师模型，分别对样本集中的测试样本进行实体识别，以分别得到预测序列和所述预测序列对应的序列概率，所述预测序列用于表征所述测试样本中的实体组合，所述学生模型的参数根据收敛后的所述教师模型进行参数设置得到；

根据所述预测序列和所述预测序列对应的序列概率，对所述学生模型进行参数更新；

若参数更新后的所述学生模型未收敛，则返回执行所述指示学生模型和收敛后的教师模型，分别对样本集中的测试样本进行实体识别的步骤及后续步骤，直至所述学生模型收敛。

进一步地，所述教师模型包括语言表示层、与所述语言表示层输出端连接的第一特征映射层和与所述第一特征映射层输出端连接的第一条件随机场，所述方法还包括：

分别对所述语言表示层和所述第一特征映射层进行学习率设置，并将训练集数据输入学习率设置后的所述语言表示层进行特征编码，得到文本向量序列，所述文本向量序列用于表征所述训练集数据中文本的语义信息；

将所述文本向量序列输入所述第一特征映射层进行特征投影，得到投影特征序列，所述特征投影用于对所述文本向量序列进行矩阵映射；

将所述投影特征序列输入学习率设置后的所述第一条件随机场进行条件随机处理，得到特征输出序列，并根据所述特征输出序列进行模型损失计算，得到模型损失值；

根据所述模型损失值分别对所述语言表示层、所述第一特征映射层和所述第一条件随机场进行参数更新，直至所述语言表示层、所述第一特征映射层和所述第一条件随机场满足收敛条件，得到收敛后的所述教师模型。

进一步地，所述将所述投影特征序列输入学习率设置后的所述第一条件随机场进行条件随机处理，得到特征输出序列之后，还包括：

分别获取所述特征输出序列中各特征的标签信息；

若任一相邻特征之间的标签信息不满足标签转移规则，则删除所述相邻特征的标签信息。

进一步地，所述学生模型包括双向循环神经网络层、与所述双向循环神经网络层输出端连接的第二特征映射层、与所述第二特征映射层输出端连接的标签表示层和与所述标签表示层输出端连接的第二条件随机场，所述得到收敛后的所述教师模型之后，还包括：