[发明专利]语音识别方法、装置、电子设备

权利要求书

1.一种语音识别方法，其特征在于，包括：

通过预先训练的流式模型的编码模块，对实时获取的语音片段进行编码，输出所述实时获取的语音片段的第一隐层向量表示；

通过所述流式模型的解码模块，对所述第一隐层向量表示进行解码，确定所述实时获取的语音片段对应的实时识别结果；

通过预先训练的非流式模型，基于所述实时获取的语音片段所属语音输入中各时刻获取的语音片段的所述第一隐层向量表示，对所述实时识别结果进行重打分，确定所述实时识别结果对应所述语音输入整体的准确度评分；其中，所述非流式模型共享所述流式模型的模型参数。

2.根据权利要求1所述的方法，其特征在于，所述确定所述实时获取的语音片段对应的实时识别结果的步骤之后，还包括：

输出得分最高的所述实时识别结果。

3.根据权利要求1所述的方法，其特征在于，所述通过预先训练的非流式模型，基于所述实时获取的语音片段所属语音输入中各时刻获取的语音片段的所述第一隐层向量表示，对所述实时识别结果进行重打分，确定所述实时识别结果对应所述语音输入整体的准确度评分的步骤，包括：

通过预先训练的非流式模型执行教师强制方法，以所述实时获取的语音片段所属语音输入中各时刻获取的语音片段的所述第一隐层向量表示，和所述实时识别结果作为输入，进行前向推理，对所述实时识别结果进行重打分，确定所述实时识别结果对应所述语音输入整体的准确度评分。

4.根据权利要求3所述的方法，其特征在于，所述确定所述实时识别结果对应所述语音输入整体的准确度评分的步骤之后，还包括：

输出所述实时识别结果相对于相应所述非流式识别结果的准确度评分。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述通过所述流式模型的解码模块，对所述第一隐层向量表示进行解码，确定所述实时获取的语音片段对应的实时识别结果的步骤，包括：

通过所述流式模型的预测模块，对所述第一隐层向量表示进行长度预测，预估所述第一隐层向量表示匹配的解码字符数量；

通过所述流式模型的解码模块，基于所述第一隐层向量表示、所述第一隐层向量表示的上下文向量表示，以及所述解码字符数量，进行自回归解码，确定所述实时获取的语音片段对应的所述解码字符数量个字符各自的实时识别结果。

6.根据权利要求1至4任一项所述的方法，其特征在于，所述流式模型和所述非流式模型是通过以下方法训练的：

获取若干训练样本，其中，所述训练样本的样本数据为语音片段序列，样本标签为所述语音片段序列对应的字符序列真实值；

对于每个所述训练样本，根据所述流式模型对所述训练样本包括的语音片段序列进行流式编解码得到的第一预估字符序列、所述语音片段序列对应的字符序列真实值，确定所述训练样本对应的第一模型损失值；以及，根据所述非流式模型对所述训练样本包括的语音片段序列进行整体编解码得到的第二预估字符序列、所述语音片段序列对应的字符序列真实值，确定所述训练样本对应的第二模型损失值；

根据每个所述训练样本对应的所述第一模型损失值和所述第二模型损失值，确定所述流式模型和所述非流式模型的联合损失值；

以优化所述联合损失值为目标，优化所述流式模型的模型参数，并同步更新所述非流式模型中与所述流式模型共享的所述模型参数，以对所述流式模型和所述非流式模型进行联合训练。

7.一种语音识别装置，其特征在于，包括：

流式编码模块，用于通过预先训练的流式模型的编码模块，对实时获取的语音片段进行编码，输出所述实时获取的语音片段的第一隐层向量表示；

流式解码模块，用于通过所述流式模型的解码模块，对所述第一隐层向量表示进行解码，确定所述实时获取的语音片段对应的实时识别结果；

识别结果重打分模块，用于通过预先训练的非流式模型，基于所述实时获取的语音片段所属语音输入中各时刻获取的语音片段的所述第一隐层向量表示，对所述实时识别结果进行重打分，确定所述实时识别结果对应所述语音输入整体的准确度评分；其中，所述非流式模型共享所述流式模型的模型参数。