[发明专利]多方言口音普通话语音识别模型训练方法、装置及设备

说明书

本申请提供一种多方言口音普通话语音识别模型训练方法、装置及设备，涉及语言识别技术领域。该方法包括：获取训练样本；使用带标注的标准普通话语音数据训练得到初始声学模型，使用文本数据训练得到初始语言模型；基于未标注的方言口音普通话语音数据迭代训练初始声学模型，得到目标声学模型；使用由目标声学模型和初始语言模型识别得到的待训练文本，训练得到临时语言模型，将临时语言模型与初始语言模型合并得到目标语言模型；将目标声学模型以及目标语言模型组合为多方言口音普通话语音识别模型。利用大量未标注的方言口音普通话语音数据，进行迭代训练，得到多方言口音普通话语音识别模型，提升了对方言口音普通话语音识别准确率。

技术领域

本发明涉及语音识别技术领域，具体而言，涉及一种多方言口音普通话语音识别模型训练方法、装置及设备。

背景技术

随着互联网和其他移动终端性能的提升，基于语音识别技术的智能产品，越来越受到工业生产和日常生活的青睐，如语音对话机器人、语音助手、互动工具等。但是，我国是一个包含多方言地区国家，生活在各地区的人们，在用普通话进行表达时会存在很大程度的口音现象，进而造成与标准普通话模型不匹配，导致语音识别的准确率低。

目前，可以基于时序神经网络进行多模型研究，实现对方言口音普通话的识别。其中，基于多模型识别方法，针对不同区域总结不同发音词典、训练数据；然后，直接训练多个模型，或者微调通用普通话语音识别模型。

但是，目前所采用的多模型识别方法，需要耗费大量的时间和人力进行数据收集和样本标注，导致优化的难度增大。

发明内容

本发明的目的在于，针对上述现有技术中的不足，提供一种多方言口音普通话语音识别模型训练方法、装置及设备，以便充分利用无标注的语音数据来加强模型的训练，避免了在实际应用中由于缺少标注训练样本数据的限制，而导致最终识别精度不高的情况。

为实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供了一种多方言口音普通话语音识别模型训练方法，包括：

获取训练样本，所述训练样本包括：带标注的标准普通话语音数据、未标注的方言口音普通话语音数据、以及文本数据；

使用所述带标注的标准普通话语音数据训练得到初始声学模型，并使用所述文本数据训练得到初始语言模型；

基于所述未标注的方言口音普通话语音数据，迭代训练所述初始声学模型，得到目标声学模型，所述目标声学模型用于识别预设种类的方言口音普通话语音数据，每种方言口音普通话语音数据分别对应一类方言口音普通话；

使用由所述目标声学模型和所述初始语言模型识别得到的待训练文本，训练得到临时语言模型，将所述临时语言模型与所述初始语言模型进行合并，得到目标语言模型；

将所述目标声学模型以及所述目标语言模型组合为多方言口音普通话语音识别模型。

可选地，所述基于所述未标注的方言口音普通话语音数据，迭代训练所述初始声学模型，得到目标声学模型，包括：

将所述初始声学模型作为初始的临时声学模型；

A、使用所述临时声学模型以及所述初始语言模型对所述未标注的方言口音普通话语音数据进行识别处理，得到识别文本；

B、根据所述识别文本的置信度、语种信息以及地域标签信息，得到预设数量的数据集合，每个数据集合中包括多个所述识别文本，且同一数据集合中的所述识别文本对应同一类方言口音普通话；

C、使用每个所述数据集合，分别对所述临时声学模型进行调整，得到所述预设数量的方言声学模型；

D、根据各所述方言声学模型的准确率，从所述各所述方言声学模型中筛选出至少一个备选合并模型；