[发明专利]多方言口音普通话语音识别模型训练方法、装置及设备

权利要求书

1.一种多方言口音普通话语音识别模型训练方法，其特征在于，包括：

获取训练样本，所述训练样本包括：带标注的标准普通话语音数据、未标注的方言口音普通话语音数据、以及文本数据；

使用所述带标注的标准普通话语音数据训练得到初始声学模型，并使用所述文本数据训练得到初始语言模型；

基于所述未标注的方言口音普通话语音数据，迭代训练所述初始声学模型，得到目标声学模型，所述目标声学模型用于识别预设种类的方言口音普通话语音数据，每种方言口音普通话语音数据分别对应一类方言口音普通话；

使用由所述目标声学模型和所述初始语言模型识别得到的待训练文本，训练得到临时语言模型，将所述临时语言模型与所述初始语言模型进行合并，得到目标语言模型；

将所述目标声学模型以及所述目标语言模型组合为多方言口音普通话语音识别模型。

2.根据权利要求1所述的方法，其特征在于，所述基于所述未标注的方言口音普通话语音数据，迭代训练所述初始声学模型，得到目标声学模型，包括：

将所述初始声学模型作为初始的临时声学模型；

A、使用所述临时声学模型以及所述初始语言模型对所述未标注的方言口音普通话语音数据进行识别处理，得到识别文本；

B、根据所述识别文本的置信度、语种信息以及地域标签信息，得到预设数量的数据集合，每个数据集合中包括多个所述识别文本，且同一数据集合中的所述识别文本对应同一类方言口音普通话；

C、使用每个所述数据集合，分别对所述临时声学模型进行调整，得到所述预设数量的方言声学模型；

D、根据各所述方言声学模型的准确率，从所述各所述方言声学模型中筛选出至少一个备选合并模型；

E、将各所述备选合并模型与所述临时声学模型进行合并处理，得到新的临时声学模型；

循环执行步骤A-E，直至所述临时声学模型的准确率满足预设条件，并将所述临时声学模型作为所述目标声学模型。

3.根据权利要求2所述的方法，其特征在于，所述使用所述临时声学模型以及所述初始语言模型对所述未标注的方言口音普通话语音数据进行识别处理之前，还包括：

使用预设的语种识别引擎确定所述未标注的方言口音普通话语音数据的语种信息。

4.根据权利要求3所述的方法，其特征在于，所述根据所述识别文本的置信度、语种信息以及地域标签信息，得到预设数量的数据集合，包括：

从所述识别文本中筛选出置信度大于预设阈值的识别文本；

根据所述语种信息以及所述地域标签信息，将所述置信度大于预设阈值的识别文本划分至所述预设数量的数据集合。

5.根据权利要求2所述的方法，其特征在于，所述根据各所述方言声学模型的准确率，从所述各所述方言声学模型中筛选出至少一个备选合并合并模型，包括：

分别使用各所述方言声学模型对带标注的语音测试集进行识别处理，得到识别结果；

根据所述识别结果以及所述带标注的语音测试集的标注信息，确定所述方言声学模型的准确率；

根据各所述方言声学模型的准确率，从所述各所述方言声学模型中筛选出至少一个备选合并模型。

6.根据权利要求1-5任一项所述的方法，其特征在于，所述使用由所述目标声学模型和所述初始语言模型识别得到的待训练文本，对所述初始语言模型进行训练，得到目标语言模型之前，还包括：

使用所述目标声学模型和所述初始语言模型对所述带标注的标准普通话语音数据以及所述未标注的方言口音普通话语音数据进行识处理，得到所述待训练文本。

7.根据权利要求6所述的方法，其特征在于，所述将所述临时语言模型与对所述初始语言模型进行合并，得到目标语言模型，包括：

分别使用所述临时语言模型和所述初始语言模型确定带标注的语音测试集的混淆度；

根据所述混淆度，对所述临时语言模型和所述初始语言模型进行插值处理，得到所述目标语言模型。