[发明专利]基于多模态语音识别结果纠错方法及相关设备

权利要求书

1.一种基于多模态语音识别结果纠错方法，其特征在于，所述方法包括：

获取语音数据；

采用声学模型和语言模型对所述语音数据进行处理，获得多个第一候选识别结果，以及获得每个第一候选识别结果分别对应的声学得分和语言得分；

针对每个第一候选识别结果，分别进行声学得分和语言得分的加权计算，获得每个第一候选识别结果对应的权重得分；

将权重得分最高的第一候选识别结果作为目标识别结果，并获取所述目标识别结果的文本序列向量；

从所述多个第一候选识别结果中确定声学得分最高的第一候选识别结果，并获取声学得分最高的第一候选识别结果对应的拼音序列向量；

将所述文本序列向量和所述拼音序列向量输入预先训练的纠错模型，以获得纠错识别结果。

2.根据权利要求1所述的方法，其特征在于，所述纠错模型包括输入层、全连接层和softmax层；

所述将所述文本序列向量和所述拼音序列向量输入预先训练的纠错模型，以获得纠错识别结果，包括：

将所述文本序列向量和所述拼音序列向量输入至所述输入层，通过所述输入层对所述文本序列向量和所述拼音序列向量进行特征融合，以获得融合后的特征向量；

将所述融合后的特征向量输入至所述全连接层，并经全连接层输入至所述softmax层，以获得由所述softmax层输出的纠错识别结果。

3.根据权利要求2所述的方法，其特征在于，通过所述输入层对所述文本序列向量和所述拼音序列向量进行特征融合，包括：

通过所述输入层对所述文本序列向量和所述拼音序列向量进行点乘以及求和运算。

4.根据权利要求1所述的方法，其特征在于，所述获取所述目标识别结果的文本序列向量，包括：

将所述目标识别结果的文本数据输入至预先训练好的BERT模型中，以获得所述文本数据的文本序列向量。

5.根据权利要求1所述的方法，其特征在于，所述获取声学得分最高的第一候选识别结果对应的拼音序列向量，包括：

获取声学得分最高的第一候选识别结果对应的拼音序列；

将所述拼音序列输入至预先训练好的Tacotron2模型，以获得所述拼音序列向量。

6.根据权利要求5所述的方法，其特征在于，在所述将所述拼音序列输入至预先训练好的Tacotron2模型之前，所述方法还包括：

构建拼音序列样本集，所述拼音序列样本集包括多个拼音序列样本；

获取每个所述拼音序列样本对应的普通话发音的梅尔谱特征，得到多个梅尔谱序列向量；

根据多个所述拼音序列样本和多个所述梅尔谱序列向量，对Tacotron2模型进行训练，以获得训练好的Tacotron2模型。

7.根据权利要求1所述的方法，其特征在于，在所述获得纠错识别结果之后，还包括：

判断所述获得纠错识别结果的文本是否存在错误；

在所述纠错识别结果的文本存在错误时，利用所述文本序列向量、所述拼音序列向量和所述纠错识别结果再次训练所述纠错模型。

8.一种基于多模态语音识别结果纠错装置，其特征在于，所述装置包括：

获取模块，用于获取语音数据；

第一处理模块，用于采用声学模型和语言模型对所述语音数据进行处理，获得多个第一候选识别结果，以及获得每个第一候选识别结果分别对应的声学得分和语言得分；

第二处理模块，用于针对每个第一候选识别结果，分别进行声学得分和语言得分的加权计算，获得每个第一候选识别结果对应的权重得分；

第三处理模块，用于将权重得分最高的第一候选识别结果作为目标识别结果，并获取所述目标识别结果的文本序列向量；

第四处理模块，用于从所述多个第一候选识别结果中确定声学得分最高的第一候选识别结果，并获取声学得分最高的第一候选识别结果对应的拼音序列向量；

纠错模块，将所述文本序列向量和所述拼音序列向量输入预先训练的纠错模型，以获得纠错识别结果。