[发明专利]语音识别和语音模型训练的方法及存储介质和电子设备

说明书

公开了一种语音识别和语音模型训练的方法及存储介质和电子设备。通过获取语音训练集并根据语音训练集获取文本训练集，根据文本训练集获取预训练的文本模型，根据预训练的文本模型和语音训练集获取预训练的语音模型。由此，使得预训练的语音模型中融合了文本特征，可以降低语音模型的训练难度，提高语音识别的准确性。

技术领域

本发明涉及语音识别技术领域，尤其涉及一种语音识别和语音模型训练的方法及存储介质和电子设备。

背景技术

随着人工智能技术的快速发展，智能机器人越来越多的替代人工客服与用户进行语音交互(IVR，Interactive Voice Response)，节省了大量的人力。语音交互的核心主要就是机器如何正确的理解用户的意图，从而做出正确的回应来帮助用户快速，准确的解决问题。

现有技术中对于意图识别的方法一般分为管道(Pipleline)和端到端(End-to-End)两种方法。其中，管道的方法是先对语音信息进行语音识别以获得文本信息，然后用NLP(Natural Language Processing，自然语言处理)的方法对文本信息进行意图识别。端到端的方法并不需要获取文本信息，直接将语音信息通过模型进行意图识别。

由于端到端的方法可以简化语义理解的过程，提高响应的效率，因而受到越来越大的关注。但是已有的端到端的方法需要大量的标注数据，学习难度较大，而且意图识别的准确性也较低。

发明内容

有鉴于此,本发明实施例的目的在于提供一种语音识别和语音模型训练的方法及存储介质和电子设备，可以降低语音模型的训练难度，提高语音识别的准确性。

第一方面，本发明实施例提供了一种语音模型的训练方法，所述方法包括：

获取语音训练集，所述语音训练集包括多个语音信息和对应的意图标识；

对所述语音信息进行语音识别以获取文本训练集，所述文本训练集包括多个文本信息和对应的意图标识；

根据所述文本训练集获取预训练的文本模型；以及

根据所述预训练的文本模型和所述语音训练集获取所述预训练的语音模型。

优选地，所述文本模型包括第一特征提取层和第一意图识别层；

其中，根据所述文本训练集获取预训练的文本模型包括：

基于预定的分词算法对所述文本训练集中各文本信息进行分词处理以获取对应的词序列，所述词序列包括多个词；

根据所述词序列获取第一嵌入向量；

将所述第一嵌入向量输入所述第一特征提取层获取所述文本信息的文本向量；

将所述文本向量输入到第一意图识别层获得输出；以及

根据所述第一意图识别层的输出和对应的意图对所述第一特征提取层和所述第一意图识别层进行调整以获取所述预训练的文本模型。

优选地，所述语音模型包括第二特征提取层和第二意图识别层；

其中，根据所述预训练的文本模型和所述语音训练集获取所述预训练的语音模型包括：

根据所述预训练的文本模型对所述第二特征提取层进行调整以使得所述语音模型输出的语音向量与所述文本模型输出的文本向量一致；以及

根据所述语音训练集对所述第二意图识别层和所述第二特征提取层进行调整以使得所述语音模型获取所述语音信息的意图。

优选地，根据所述预训练的文本模型对所述第二特征提取层进行调整包括：

对所述语音训练集中各语音信息进行分帧处理以获取帧序列；