[发明专利]端到端语音识别模型训练方法、语音识别方法及相关装置

权利要求书

1.一种端到端语音识别模型训练方法，其特征在于，所述方法包括：

根据文本语料，获得训练后的语言模型；

根据所述语言模型构建端到端语音识别模型，并根据音频语料对构建后的所述端到端语音识别模型进行训练，获得训练后的所述端到端语音识别模型。

2.根据权利要求1所述的方法，其特征在于，根据所述语言模型构建端到端语音识别模型，并根据音频语料对构建后的所述端到端语音识别模型进行训练，获得训练后的所述端到端语音识别模型，包括：

将所述语言模型构建成所述端到端语音识别模型的解码模块，得到构建后的所述端到端语音识别模型；

针对所述构建后的所述端到端语音识别模型，将除所述语言模型的交叉注意力机制参数之外的其他模型参数保持固定，并根据所述音频语料，对所述语言模型的进行训练；

其中，所述其他模型参数包括：所述端到端语音识别模型中，除所述语言模型之外的模型参数，和所述语言模型中除所述交叉注意力机制参数之外的参数；所述交叉注意力机制参数用于计算所述端到端语音识别模型的编码器模块的输出信息的注意力得分；

当确定所述端到端语音识别模型的损失函数的损失值下降到第一数值且所述第一数值不再变化时，将所述端到端语音识别模型中除所述语言模型之外的模型参数保持固定，根据所述音频语料，对所述语言模型进行训练；

当确定所述损失函数的损失值下降到第二数值且所述第二数值不再变化，获得训练后的所述端到端语音识别模型；其中，所述第一数值大于所述第二数值。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

为所述语言模型的每一层配置权重参数，所述权重参数表征所述输出信息被过滤掉的概率；

所述交叉注意力机制参数用于计算所述端到端语音识别模型的编码器模块的输出信息的注意力得分的方式如下：

根据所述输出信息、所述当前层的权重参数、交叉注意力机制参数以及所述当前层的上一层计算结果获得所述输出信息的注意力得分。

4.根据权利要求1所述的方法，其特征在于，根据文本语料，获得训练后的语言模型，包括：

获得口语文本语料集和业务文本语料集；其中，所述口语文本语料集是在任意场景下采集的文本集；所述业务文本语料集是在业务场景下采集的用户对应的文本集；

根据所述口语文本语料集，对初始的所述语言模型进行预训练，获得预训练的所述语言模型；

根据所述业务文本语料集，对所述预训练的所述语言模型进行微调训练，获得训练后的所述语言模型。

5.一种语音识别方法，其特征在于，所述方法包括：

获取待识别语音；

将所述待识别语音的音频特征输入训练后的端到端语音识别模型进行识别，获得所述待识别语音对应的目标文本。

6.根据权利要求5所述的语音识别方法，其特征在于，所述端到端语音识别模型是通过以下方式训练而成：

根据文本语料，获得训练后的语言模型；

根据所述语言模型带标注的音频语料，构建端到端语音识别模型，并对构建后的所述端到端语音识别模型进行训练，获得训练后的所述端到端语音识别模型。

7.根据权利要求6所述的语音识别方法，其特征在于，所述语言模型是通过以下方式训练而成：

获得口语文本语料集和业务文本语料集；其中，所述口语文本语料集是在任意场景下采集的文本集；所述业务文本语料集是在业务场景下采集的用户对应的文本集；

根据所述口语文本语料集，对初始的所述语言模型进行预训练，获得预训练的所述语言模型；

根据所述业务文本语料集，对所述预训练的所述语言模型进行微调训练，获得训练后的所述语言模型。