[发明专利]普通话和粤语混合语音识别模型训练方法及系统

说明书

本发明公开一种普通话和粤语混合语音识别模型训练方法，包括：采用N种语言的混合语音训练样本对多任务模型进行训练，多任务模型包括多个共享网络层和与多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；将多个共享网络层的网络参数迁移至待训练语音识别模型，以完成待训练语音识别模型的训练。本发明实施例首先采用多种语言的混合语音训练样本训练多任务模型，然后通过数据迁移的方式复用多任务模型的网络参数，基于普通话和粤语混合建模，训练普通话和粤语混合语音识别模型。能够解决普通话和粤语混合语音识别的问题，不需要对原来的识别服务进行大的修改，可以利用当前已有的成果，降低模型训练成本和服务开发成本。

技术领域

本发明涉及语音识别技术领域，尤其涉及普通话和粤语混合语音识别模型训练方法及系统。

背景技术

随着移动终端设备及语音识别技术的不断发展，出现了一些普通话和方言混合语音识别方案。如讯飞语音输入法、百度语音输入法、搜狗输入法、阿里智能客服，它们均具有普通话和方言混合语音识别功能。

现有解决方案均是基于深度学习框架的算法，根据各自的实际情况使用不同的声学建模单元，通过不同的声学训练流程和算法，支持同时识别多种语言。

常见的解决方案有两种，一种是使用语种分类器判断语音属于哪种语言，然后再将语音输入相应的语音识别系统进行识别，如图1所示。但这种方法需要引入语种识别模块进行语种分类，这样，造成识别结果依赖于语种识别模块的分类性能，当语种识别模块、分类器不稳定时，会造成识别效果差。语音识别准确率是基于语种分类的准确率、语音识别系统准确率的累积确定的，因此，语音识别准确率低于单独的一个语音识别系统，这种方案难以在各种场景具有较强的鲁棒性。并且，服务器上需要部署多套语音识别系统，工程代价高。

另一种方案是采用混合语音识别方法，将多种语言的建模单元混合在一起，然后将不同语言的音频数据和文本数据混合，复用常规的训练流程，进行混合语音识别；也可以将多种语言的字典、训练数据和语料文本混合，再复用常规的训练流程，进行混合语音识别。这种混合语音识别方法容易实现，工程代价比较低，但这种语音识别方法是将多种不同的语言的数据混合在一起训练，现实情况中很难做到各语言的训练数据是均衡的，并且不同的语言存在发音差异性，数据量不均衡或选取不合适，会造成不同语言的发音音素在训练集中分布不均衡，这样训练出的识别结果会偏向数据量大的语言，这样的混合语音识别系统的性能相比单独的各个语言的语音识别系统性能会下降很多，整体识别率难以做到将每种语言都很好地识别，ASR(Automatic Speech Recognition)性能损失较多。

发明内容

本发明实施例提供一种普通话和粤语混合语音识别模型训练方法及系统、普通话和粤语混合语音识别方法及系统，用于至少解决上述技术问题之一。

第一方面，本发明实施例提供一种普通话和粤语混合语音识别模型训练方法，包括：

采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；

将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。

第二方面，本发明实施例提供一种普通话和粤语混合语音识别方法，包括：将普通话和方言混合语音输入至本发明实施例所述的普通话和粤语混合语音识别模型训练方法训练得到的语音识别模型，进行混合语音识别。

第三方面，本发明实施例提供一种普通话和粤语混合语音识别模型训练系统，包括：

多任务模型训练模块，用于采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；