[发明专利]一种中英文混合语音的声学识别方法及系统

说明书

本发明公开了利用中英文混合语音的声学识别模型的中英文混合语音的声学识别方法及系统。其中，方法包括：通过共享的深度神经网络层和声学模型资源对当前采集语音信息进行语音识别，获取第一识别解码且获取词图；通过独立的语音识别声学模型相关的深度神经网络层在所述词图上对所述共享的深度神经网络层重打分；在重打分的词图上检索获取语音识别结果。因此本发明中的中英文混合语音的声学识别方法，模型中将语种分类信息通过一个门函数应用到识别网络中，控制识别网络的输出，最终提升模型对中英文的区分度，进而提升中英文识别的性能。

技术领域

本发明属于语音识别的技术领域，尤其涉及中英文混合语音的声学识别方法及系统。

背景技术

语音识别是一种让机器通过识别和理解过程把语音信息转变为相应的文本或命令的人工智能技术。近年来，随着互联网的发展及语音识别产品在生活着的普及,中英文混合识别技术被越来越多的应用到了语音识别产品中。

现有技术中的，中英文双语语音识别方法需获取国际音标IPA标注的中英文混合词典，中英文混合词典包括：中文词典和经过中式英语修正的英文词典；将中英文混合词典作为训练词典，以一层卷积神经网络CNN加上五层时间递归神经网络LSTM为模型，以国际音标的状态为目标，以联结主义时间分类器CTC为训练准则对模型进行训练，得到训练后的CTC声学模型；结合训练后的CTC声学模型对中英文混合语言进行语音识别。

现有技术中的方法采用两遍音素聚类的方法统一中英文音素集，重新训练得到中英文混合声学模型，并修正相应的双语发音字典，解码器根据这些实现中英文双语识别。

现有技术中的中英文双语识别方法的问题在于，使用合并的中英文音素，包括国际音标IPA，及聚类的方法合并音素的方法会降低中英文音素之间的区分度，带来更多的跨语言的识别错误。另外因为修改了音素集合，需要重新整理字典；将带来巨大的开销。现有技术中缺陷产生的主要原因在于国际音标IPA，及聚类的方法合并音素的方法，会合并中英文独立音素集合中发音比较相近的部分。

发明内容

本发明实施方式提供中英文混合语音的声学识别模型、方法及系统，用于至少解决上述技术问题之一。

第一方面，本发明提供了中英文混合语音的声学识别模型，包括：语音信息的特征提取单元、共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层。

语音信息的特征提取单元，其配置为从当前采集语音信息中提取当前语音特征。

共享的深度神经网络层，其配置为卷积神经网络CNN串联长短时记忆神经网络LSTM的拓扑结构。共享的深度神经网络层接收从语音信息的特征提取单元发送的当前语音特征，以及当前采集语音信息。对当前采集语音信息识别，获取第一识别解码且获取词图。

独立的语音识别声学模型相关的深度神经网络层，其配置为前馈深度神经网络DNN。接收共享的深度神经网络层获取的第一识别解码且获取词图，在词图上对共享的深度神经网络层重打分。在重打分的词图上检索获取语音识别结果。

共享的深度神经网络层及独立的语音识别声学模型相关的深度神经网络层，通过中文音素及英文音素的并集作为建模单元，使用CTC作为模型训练准则。

在本发明中英文混合语音的声学识别模型的另一种优选的实施方式中，还包括，语种分类单元。

语种分类单元，其配置为通过门函数辨识中文语种及英文语种，语种分类单元接收共享的深度神经网络层的第一识别解码且获取词图。语种分类单元的输出连接独立的语音识别声学模型相关的深度神经网络层。

第二方面，本发明提供了利用中英文混合语音的声学识别模型的中英文混合语音的声学识别方法。中英文混合语音的声学识别方法包括：

步骤S101，通过共享的深度神经网络层和声学模型资源对当前采集语音识别，获取第一识别解码且获取词图。