[发明专利]语音识别方法、装置、存储介质及设备

说明书

本发明涉及语音识别技术领域，公开了一种语音识别方法、装置、存储介质及处理器，语音识别方法包括：获取英文音素和中文音素，并根据所述英文音素和中文音素训练声学模型；获取英中文测试词典；根据所述英文音素、所述中文音素、所述声学模型、所述英中文测试词典，结合语言模型，构建解码图；采集待识别的语音；以及根据所构建的解码图对所述语音进行解码识别。本发明实施例同时根据中文音素和英文音素训练声学模型，并结合中文和英文词典来构建解码图，兼顾了英文口音和中文口音的词语读法，有效提高语音识别系统的对语音中词汇识别率，从而提升了用户体验。

技术领域

本发明涉及语音识别技术领域，具体地涉及一种语音识别方法、装置、存储介质及设备。

背景技术

基于深度学习的语音识别技术在普通安静、近场条件下已经取得90％以上的识别率，并广泛应用于语音搜索、语音转写、智能家居、呼叫中心等领域。在语音识别系统中，词典是非常重要的一部分，只有词语在词典中有正确的发音，该词语才能够被语音识别系统正确识别。对现有的英文语音识别系统来讲，词典中一般会包含绝大多数英文词汇，通常还会通过网络资源找到一些英文词典，例如CMU dict(卡内基·梅隆大学开放的词典)。但是，在中国使用英文语音识别系统时，会涉及较多中国本地化相关信息的词语，在英文识别系统中属于OOV(Out of Vocabulary，现有词典中不存在的词)，例如：中文人名和地址名词语，而英文词典中并不包括上述本地化相关信息的词语发音，导致英文语音识别系统的识别率较低。

目前英文语音识别系统针对OOV，主要通过G2P(Graphemes to Phonemes，单词到音素)生成发音音素序列，并将其加入到英文词典，以进行后续的语音识别。该方法存在如下缺点：G2P依赖通过英文词典进行模型训练，但中文拼音的很多音素在英文词典的英文音素中不存在对应的或比较接近的发音音素。例如：中文拼音声母中的zh、c、q、r、v、x、y、z等，不存在等价或近似的英文音素。因此，G2P训练模型无法对中文拼音类的OOV生成准确的发音，词典中的利用G2P所生成的发音准确率也非常低，从而导致在中国使用的英文语音识别系统的整体识别率低、用户体验差。

发明内容

为了解决或至少部分解决上述技术问题，本发明实施例提供了一种语音识别方法及装置。

根据本发明实施例的第一方面，提供一种语音识别方法，所述方法包括：获取英文音素和中文音素，并根据所述英文音素和中文音素训练声学模型；获取英中文测试词典；根据所述英文音素、所述中文音素、所述声学模型、所述英中文测试词典，结合语言模型，构建解码图；采集待识别的语音；以及根据所构建的解码图对所述语音进行解码识别。

优选的，所述根据所述英文音素和中文音素训练声学模型包括：获取包括英文数据和中文拼音数据的训练数据；以及根据所述英文音素、所述中文音素以及所述训练数据，结合英文词典、中文词典，利用高斯混合模型和/或神经网络模型进行训练，以得到所述声学模型。

优选的，所述获取英中文测试词典包括：根据中文词典和所述中文音素，确定所述中文词典中各中文词语的第一音素序列；根据所述英文音素，对各中文词语进行单词到音素G2P训练，以确定各中文词语的第二音素序列；以及根据英文词典和所述英文音素，确定所述英文词典中各英文单词的英文音素序列。

优选的，所述根据所构建的解码图对所述待识别的语音进行解码识别，包括：实时提取所述语音所包括的音素特征；根据所述音素特征和所述声学模型，确定每一所述音素特征与所述语音的匹配概率；根据所述匹配概率和所述解码图，确定与所述语音匹配的音素序列；以及根据所述语音匹配的音素序列和所述英中文测试词典，确定所述语音对应的中文词语和/或英文单词以及所述中文词语和所述英文单词的排列顺序，其中，所述音素特征包括以下至少一者：第一音素序列；第二音素序列；以及英文音素序列。