[发明专利]实体识别模型训练方法、装置、电子设备及存储介质

说明书

本申请提供一种实体识别模型训练方法、装置、电子设备及存储介质，所述方法包括：通过根据第一隐藏状态以及第二隐藏状态，确定教师模型对应的第一损失结果；根据第二预测结果以及样本数据，确定初始学生模型对应的第二损失结果；根据第一损失结果以及第二损失结果，确定初始学生模型的目标损失结果，并根据初始学生模型的目标损失结果对初始学生模型进行迭代修正，并将迭代修正结束时的初始学生模型作为待使用的实体识别模型。通过使用教师模型输出的预测结果以及样本数据确定的学生模型的损失结果，使得优化的学生模型预测结果的准确率更高，实现模型的压缩和量化，降低了模型调用的延时，增加了模型的精度。

技术领域

本申请涉及人工智能领域，具体而言，涉及一种实体识别模型训练方法、装置、电子设备及存储介质。

背景技术

随着人工智能的发展，近年出现了越来越多的智能对话系统，例如语音助手、克服机器人、对话机器人等。而命名实体识别是智能对话系统的重要部分，命名实体识别也被称为实体抽取或实体提取，智能对话系统需要根据命名实体识别来理解用户的真实意图，因此，命名实体识别是智能对话系统中的重要部分。

现有技术中，主要是通过文本拼接的方法进行实体的识别，但是在文本拼接之后的计算复杂度会变高，因此，利用文本拼接的方法进行实体的识别的复杂度高。

发明内容

本申请的目的在于，针对上述现有技术中的不足，提供一种实体识别模型训练方法、装置、电子设备及存储介质，实现模型的压缩和量化，降低模型调用的延时，增加模型的精度。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种实体识别模型训练方法，所述方法包括：

根据预先训练得到的教师模型构建初始学生模型，所述教师模型包括：第一教师子模型以及第二教师子模型，所述第一教师子模型用于进行特征提取，所述第二教师子模型用于进行实体识别，所述初始学生模型包括：第一学生子模型以及第二学生子模型，所述第一学生子模型通过从所述第一教师子模型中抽取预设数量的层得到，所述第二学生子模型的结构与所述第二教师子模型的结构相同；

将多个样本数据输入至所述教师模型，得到所述教师模型输出的第一预测结果，并将所述多个样本数据输入至所述初始学生模型中，得到所述初始学生模型输出的第二预测结果；

分别确定所述第一预测结果对应的第一隐藏状态以及所述第二预测结果对应的第二隐藏状态；

根据所述第一隐藏状态以及所述第二隐藏状态，确定所述教师模型对应的第一损失结果；

根据所述第二预测结果以及所述样本数据，确定所述初始学生模型对应的第二损失结果；

根据所述第一损失结果以及所述第二损失结果，确定所述初始学生模型的目标损失结果，并根据所述初始学生模型的目标损失结果对所述初始学生模型进行迭代修正，并将迭代修正结束时的初始学生模型作为待使用的实体识别模型。

可选的，所述第二教师子模型以及所述第二学生子模型分别为指针网络。

可选的，所述将多个样本数据输入至所述教师模型，得到所述教师模型输出的第一预测结果，包括：

将所述多个样本数据输入所述第一教师子模型，得到多个第一特征向量；

将所述多个第一特征向量输入所述第二教师子模型中，由所述第二教师子模型对所述多个第一特征向量进行解码，得到各第一特征向量对应的字，根据各第一特征向量对应的字确定实体的首尾位置，并根据实体的首尾位置对各第一特征向量对应的字进行标注，根据标注结果进行字的拼接处理，得到目标实体，将所述目标实体作为所述第一预测结果进行输出。

可选的，根据各第一特征向量对应的字确定实体的首尾位置，还包括：