[发明专利]一种引入语言向量的语音识别增强方法和装置

摘要

本发明公开了一种语音识别方法和装置，特别公开了一种引入语言向量的语音识别增强方法和装置。该一种引入语言向量的语音识别增强方法和装置，本装置主要由语音分帧模块、类别标记模块、语言向量训练模块、语言向量获取模块、语音识别系统训练模块和语音识别模块构成；本装置需要预先对训练数据分帧进行发音类别标记，通过神经网络进行分类训练，获取的隐层向量作为语言向量，然后将获取的语言向量加入语音识别系统训练模块中，获取语音识别引擎，通过不同的语言向量来识别不同语言的语音。其益效果是：提高了母语发音和非母语发音的混合语音识别系统识别率，提高语音识别训练效率，降低了参数量，减速了模型训练，并同时提高了语音识别的效率。

主权项

1.一种引入语言向量的语音识别增强方法和装置，其特征在于：本装置主要由语音分帧模块、类别标记模块、语言向量训练模块、语言向量获取模块、语音识别系统训练模块和语音识别模块构成；本装置需要预先对训练数据分帧进行发音类别标记，通过神经网络进行分类训练，获取的隐层向量作为语言向量，然后将获取的语言向量加入语音识别系统训练模块中，获取语音识别引擎，通过不同的语言向量来识别不同语言的语音；/n具体工作模块与工作流程如下：/n语音分帧模块，本模块主要将整段的语音进行切分一帧帧语音，现成一个序列，用s表示s＝{s1,s2,….,sN}，其中s表示一段语音，s1表示一帧语音，N为总帧数；/n类别标记模块，本模块主要将语音分帧模块的切分的语音帧进行标记，现成待标记的语音片段，用l表示，l_s表示对语音端s进行标记，l_s＝{l_s_1,l_s_2,…,l_s_N},其中l_s_1表示对语音帧s1进行标记，L_s_n的值为语言的类别，如语言类别为英式英语和中式英语，则l_s_n的值为其中一个；/n语言向量训练模块，本模块主要是利用神经网络模型进行语言向量进行训练；/n其具体流程如下：/n输入向量：语音特征选择的是Fbank特征以及它们的一二阶差分，共40维，考虑到上下文关系，输入加入了当前帧前后各5帧近邻帧，总共11帧440维；/n网络结构：本方案中采用的DNN是2层隐层，其中前一层有1200个结点，激活函数为f(x)＝x，只做线性映射；后一层20个结点，激活函数为sigmoid函数，最后一层为类别的个数ClassNum；/n训练：由于在类别标记模块中对语音帧进行了标注，即可按照分类模型的训练方法进行训练；/n基于以上流程，即可获取语言向量生成引擎。/n语言向量获取模块，在语言向量训练模块中已经训练得到了语言向量生成模型，本模块即时从此模型中获取语言向量；/n具体流程如下：/n输入向量：语音特征选择的是Fbank特征以及它们的一二阶差分，共40维，输入加入了当前帧前后各5帧近邻帧，总共11帧440维；/n获取语言向量，获取网络模型倒数第二层的隐层，作为语言向量；/n语音识别系统训练模块，在获取了语言向量后，即可进行语音识别引擎训练，/n具体流程如下：/n输入向量：输入向量分为语音特征向量和语言向量，语音特征向量为40维的Fbank特征，考虑到上下文相关，使用11帧的对称窗口，并做LDA降维至200维，语言向量即为104模块中获取的向量；/n网络结构：4层隐含层，每层1200个结点，输出层对应GMM的个数，为7552个结点；/n模型训练：交叉熵作为训练的评判标准，训练中采用随机梯度下降法；/n语音识别模块，在语音识别系统训练模块中训练获得声学模型，本模块将声学模型和语音结合后，即可获取语音识别引擎，即可进行语音识别，语音识别过程为通用流程。/n