[发明专利]音频识别模型的训练方法、装置和音频识别方法、装置

权利要求书

1.一种音频识别模型的训练方法，其特征在于，包括：

采用至少两个语种的音频-音标样本训练得到所述音频识别模型中的音频-音标转换模型；所述音频-音标转换模型包括第一网络模块；

采用各个所述语种的音标-文本样本训练得到音频识别模型的音标-文本转换模型；所述音标-文本转换模型包括第二网络模块；

采集多语混杂音频样本，并采用所述第一网络模块处理所述多语混杂音频样本，得到第一向量；

采用所述第二网络模块处理所述多语混杂音频样本对应的标注音标，得到第二向量；

根据初始化字符或所述多语混杂音频样本对应的标注文本中的词语，得到第三向量；

采用耦合模型对所述第一向量、所述第二向量、所述第三向量进行非线性融合，生成结果向量；以及，采用所述结果向量和所述标注文本中的词语，对所述耦合模型中的参数进行训练。

2.根据权利要求1所述音频识别模型的训练方法，其特征在于，根据初始化字符或所述多语混杂音频样本对应的标注文本中的词语，得到第三向量，包括：

根据所述初始化字符或所述标注文本中的词语得到词向量；以及，根据所述初始化字符或所述标注文本中词语的位置得到位置向量；

根据所述词向量和所述位置向量，得到所述第三向量。

3.根据权利要求1所述音频识别模型的训练方法，其特征在于，根据初始化字符或所述多语混杂音频样本对应的标注文本中的词语，得到第三向量，包括：

根据初始化字符或所述标注文本中的词语得到词向量；

根据所述词向量得到所述第三向量。

4.根据权利要求1-3任一项所述音频识别模型的训练方法，其特征在于，所述耦合模型包括前处理模块和融合模块；

采用耦合模型对所述第一向量、所述第二向量、所述第三向量进行非线性融合，生成结果向量；以及采用所述结果向量和所述标注文本中的词语，对所述耦合模型中的参数进行训练，包括：

采用所述前处理模块对第三向量进行非线性变换，生成第四向量；

采用所述融合模块对所述第一向量、所述第二向量和所述第四向量进行非线性融合，生成所述结果向量；

根据所述标注文本中的词语得到判别向量；

根据所述结果向量和所述判别向量，对所述前处理模块和所述融合模块中的参数进行训练。

5.根据权利要求4所述音频识别模型的训练方法，其特征在于，所述融合模块包括第一融合子模块、第二融合子模块和再融合子模块；

采用所述融合模块对所述第一向量、所述第二向量和所述第四向量进行非线性融合，生成所述结果向量，包括：

采用所述第一融合子模块对所述第一向量和所述第四向量进行非线性融合，生成第五向量；

采用所述第二融合子模块对所述第二向量和所述第四向量进行非线性融合，生成第六向量；

采用再融合子模块对所述第五向量和所述第六向量进行非线性融合，生成所述结果向量。

6.根据权利要求5所述音频识别模型的训练方法，其特征在于，

所述前处理模块、所述第一融合子模块和所述第二融合子模块均包括采用多头注意力机制的子网络。

7.根据权利要求1-3任一项所述音频识别模型的训练方法，其特征在于，采用至少两个语种的音频-音标样本训练得到音频识别模型的音频-音标转换模型；包括：

对各个所述语种的音频进行声学特征提取，得到声学特征矩阵；

采用所述声学特征矩阵和对应的标注音标，训练得到所述音频-音标转换模型。

8.根据权利要求1-3任一项所述音频识别模型的训练方法，其特征在于，

采用各个所述语种的音标-文本样本训练得到音频识别模型的音标-文本转换模型，包括：

采用各个所述语种的音标-文本样本对所述音标-文本转换模型进行训练，得到所述音标-文本转换模型的临时参数；

所述方法还包括：采用所述多语混杂音频样本对应的标注音标和标注文本，基于所述临时参数对所述音频-文本转换模型进行再训练。