[发明专利]语音识别模型的训练方法、装置、设备以及存储介质

说明书

本发明公开了一种语音识别模型的训练方法、装置、设备以及存储介质，属于计算机技术领域。该方法包括：将样本语音特征输入至初始模型的编码网络，得到声学编码特征，并根据所述声学编码特征和样本语音特征的特征监督数据，确定编码损失；将所述声学编码特征输入至所述初始模型的解码网络，得到语音识别内容，并根据所述语音识别内容、样本语音特征的内容监督数据、以及所述声学编码特征，确定识别损失；根据所述编码损失和所述识别损失，确定所述初始模型的总损失；根据所述总损失，对所述初始模型进行训练，得到目标语音识别模型。通过上述技术方案，实现利用训练数据的文本信息直接训练端到端的模型。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种语音识别模型的训练方法、装置、设备以及存储介质。

背景技术

语音识别是一种将输入的语音数据流转换为对应的文字内容的计算机技术，传统的语音识别系统通常包含声学模型、语言模型和词典。

声学模型将输入的语音转换成较小的建模单位(如音素)，再通过词典组合成不同的词汇，最后通过语言模型输出句子。词典通过人工构造的方式产生，而声学模型和语言模型通常需要大量的数据分别进行模型训练。在传统的深度神经网络-隐马尔科夫模型(DNN-HMM)的混合模型中，声学模型的训练需要先通过另一个模型(通常是高斯混合模型-隐马尔科夫模型，GMM-HMM)将输入的语音进行对齐，得到每一帧对应的输出标签，在进行训练，比如常用的无需词图的最大交叉熵方法。但是，上述方法无法利用训练数据的文本信息进行语言模型的联合训练，需要与另一个独立训练的语言模型一起才能进行语音识别，因此，亟需改进。

发明内容

本发明提供一种语音识别模型的训练方法、装置、设备以及存储介质，以实现利用训练数据的文本信息直接训练端到端的模型，从而提高语音识别率。

第一方面，本发明实施例提供了一种语音识别模型的训练方法，该方法包括：

将样本语音特征输入至初始模型的编码网络，得到声学编码特征，并根据所述声学编码特征和样本语音特征的特征监督数据，确定编码损失；

将所述声学编码特征输入至所述初始模型的解码网络，得到语音识别内容，并根据所述语音识别内容、样本语音特征的内容监督数据、以及所述声学编码特征，确定识别损失；

根据所述编码损失和所述识别损失，确定所述初始模型的总损失；

根据所述总损失，对所述初始模型进行训练，得到目标语音识别模型。

第二方面，本发明实施例还提供了一种语音识别模型的训练装置，该装置包括：

编码损失确定模块，用于将样本语音特征输入至初始模型的编码网络，得到声学编码特征，并根据所述声学编码特征和样本语音特征的特征监督数据，确定编码损失；

识别损失确定模块，用于将所述声学编码特征输入至所述初始模型的解码网络，得到语音识别内容，并根据所述语音识别内容、样本语音特征的内容监督数据、以及所述声学编码特征，确定识别损失；

总损失确定模块，用于根据所述编码损失和所述识别损失，确定所述初始模型的总损失；

识别模型确定模块，用于根据所述总损失，对所述初始模型进行训练，得到目标语音识别模型。

第三方面，本发明实施例还提供了一种电子设备，该电子设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所提供的语音识别模型的训练方法。