[发明专利]普通话和粤语混合语音识别模型训练方法及系统

权利要求书

1.一种普通话和粤语混合语音识别模型训练方法，包括：

采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；

将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。

2.根据权利要求1所述的方法，其中，所述采用N种语言的混合语音训练样本对多任务模型进行训练包括：

基于对应于所述N个任务神经网络层的N个损失函数训练所述N个任务神经网络层的网络参数；

至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数。

3.根据权利要求2所述的方法，其中，所述多任务模型还包括与所述多个共享网络层中的最后一层连接的语言分类网络层；

所述至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数包括：

基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数。

4.根据权利要求3所述的方法，其中，基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数包括：

基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数的加权和训练所述多个共享网络层的网络参数。

5.一种普通话和粤语混合语音识别方法，包括：

将普通话和方言混合语音输入至权利要求1-4所述的方法训练得到的语音识别模型，进行混合语音识别。

6.一种普通话和粤语混合语音识别模型训练系统，包括：

多任务模型训练模块，用于采用N种语言的混合语音训练样本对多任务模型进行训练，所述多任务模型包括多个共享网络层和与所述多个共享网络层中的最后一层连接的对应于N种语言的N个任务神经网络层；

语音识别模型训练模块，用于将所述多个共享网络层的网络参数迁移至待训练语音识别模型，以完成所述待训练语音识别模型的训练。

7.根据权利要求6所述的系统，其中，所述采用N种语言的混合语音训练样本对多任务模型进行训练包括：

基于对应于所述N个任务神经网络层的N个损失函数训练所述N个任务神经网络层的网络参数；

至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数。

8.根据权利要求7所述的系统，其中，所述多任务模型还包括与所述多个共享网络层中的最后一层连接的语言分类网络层；

所述至少基于对应于所述N个任务神经网络层的N个损失函数共同训练所述多个共享网络层的网络参数包括：

基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数。

9.根据权利要求8所述的系统，其中，基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数共同训练所述多个共享网络层的网络参数包括：

基于对应于所述N个任务神经网络层的N个损失函数和对应于所述语言分类网络层的损失函数的加权和训练所述多个共享网络层的网络参数。

10.一种普通话和粤语混合语音识别系统，包括：

语音识别模型，采用权利要求1-4所述的方法训练得到；

语音输入模块，用于将普通话和粤语混合语音输入至所述语音识别模型，进行混合语音识别。