[发明专利]轻量级意图识别模型训练方法、装置、设备及存储介质

说明书

本发明涉及人工智能技术，揭露了一种轻量级意图识别模型训练方法，包括：获取原始会话训练集合，利用预构建的教师模型对所述原始会话训练集合进行会话角色表征及会话环境表征，得到标准会话训练集合，利用所述教师模型和预构建的轻量级神经网络构建互动蒸馏网络，利用所述标准会话训练集合对所述互动蒸馏网络进行互动训练，得到标准学生模型。本发明还提出一种轻量级意图识别模型训练装置、电子设备以及计算机可读存储介质。本发明可以解决移动智能设备中的语音识别模型语音意图识别不准确的问题。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种轻量级意图识别模型训练方法、装置、电子设备及计算机可读存储介质。

背景技术

随着人工智能的快速发展，智能语音识别技术应用广泛，适用于智能手机、手环等移动智能设备的模型训练也越来越重要。然而，在语音识别场景下，移动智能设备受限于体积、内存等限制，无法部署处理逻辑复杂的语音识别模型。

现有技术下通过以下方法来进行移动智能设备中的模型部署：1、通过对语音识别模型进行剪枝与量化来实现模型压缩，然而模型剪枝与量化会同步降低模型的参数量与运算量，降低语音识别的准确率；2、通过知识蒸馏的方法，利用教师模型输出的标签来对学生模型进行训练，使得学生模型的性能接近教师模型，然而学生模型与教师模型的互动较低，且由于人工标注效率较低，缺乏大量标注数据，使得训练出来的模型的识别准确度较低。因此，现有的移动智能设备中语音识别模型语音意图识别准确有待提高。

发明内容

本申请提供了一种轻量级意图识别模型训练方法、装置、电子设备及存储介质，以解决移动智能设备中的语音识别模型语音意图识别不准确的问题。

第一方面，本申请提供了一种轻量级意图识别模型训练方法，所述方法包括：

获取原始会话训练集合，利用预构建的教师模型对所述原始会话训练集合进行会话角色表征及会话环境表征，得到标准会话训练集合；

利用所述教师模型和预构建的轻量级神经网络构建互动蒸馏网络；

利用所述标准会话训练集合对所述互动蒸馏网络进行互动训练，得到标准学生模型。

详细地，所述利用预构建的教师模型对所述原始会话训练集合进行会话角色表征及会话环境表征，得到标准会话训练集合，包括：

利用所述教师模型中的语音识别层对所述原始会话训练集合中的会话语音进行文本转化，得到会话文本；

利用所述教师模型中的向量转化层对所述会话文本进行向量转化，并对转化后的向量进行角色表征，得到会话语义表征向量；

利用所述教师模型中的向量表征层对所述会话语义表征向量进行语义环境表征，得到会话环境表征向量；

利用所述教师模型中的意图识别层输出所述会话环境表征向量中的初始意图识别结果，将所述初始意图识别结果作为真实标注添加至所述原始会话训练集合中，得到所述标准会话训练集合。

详细地，所述利用所述教师模型中的向量转化层对所述会话文本进行向量转化，并对转化后的向量进行角色表征，得到会话语义表征向量，包括：

利用所述向量转化层对所述会话文本中所有句子进行向量转化，得到语句表征向量；

根据所述语句表征向量的说话人构建角色表征向量；

拼接所述语句表征向量及所述角色表征向量得到所述会话语义表征向量。

详细地，所述利用所述教师模型中的意图识别层输出所述会话环境表征向量中的初始意图识别结果，包括：

利用所述意图识别层中的attention层得到所述会话环境表征向量的贡献度；

将所述会话环境表征向量及所述贡献度进行累加，得到会话表征向量；