[发明专利]一种基于混合声学模型的语音识别系统及方法

权利要求书

1.一种基于混合声学模型的语音识别方法，基于一种基于混合声学模型的语音识别系统实现，所述系统包括：信号处理及特征提取模块、发音词典、语言模型和解码器；其特征在于，所述系统还包括：混合声学模型；所述混合声学模型包括：前端的卷积神经网络和后端的时间延迟及长短时记忆混合神经网络；所述卷积神经网络作为一个特征提取模块放置在时间延迟及长短时记忆混合神经网络之前；所述卷积神经网络输出的特征和待识别语音的梅尔频率倒谱系数特征进行拼接，一起作为后端时间延迟及长短时记忆混合神经网络的输入特征；所述卷积神经网络为两层；

所述方法包括：

步骤1)建立训练集，基于训练集训练所述语音识别系统的混合声学模型；

步骤2)提取待识别语音的梅尔频率倒谱系数特征以及说话人特征；

步骤3)利用训练好的声学模型的卷积神经网络对待识别语音的梅尔频率倒谱系数特进行卷积处理；

步骤4)将卷积神经网络输出作为新的特征，和待识别语音的梅尔频率倒谱系数特征以及说话人特征进行拼接，形成混合特征，作为时间延迟及长短时记忆混合神经网络的输入；

步骤5)所述时间延迟和长短时记忆混合神经网络对混合特征进行处理，输出语音的特征的后验概率，用于解码，得到识别出的语音。

2.根据权利要求1所述的基于混合声学模型的语音识别方法，其特征在于，在所述步骤4)之前还包括：

对卷积神经网络输出的特征降维到1024维，同时对待识别语音的梅尔频率倒谱系数特征和说话人特征拼接之后的特征进行整体维度转换，转换到512维。

3.根据权利要求2所述的基于混合声学模型的语音识别方法，其特征在于，所述步骤1)具体包括：

步骤101)建立训练集；

所述训练集包括若干条语音、每条语音的梅尔频率倒谱系数特征以及说话人特征；

步骤102)利用卷积神经网络对每条语音的梅尔频率倒谱系数特征进行卷积处理；

步骤103)将卷积神经网络输出作为新的特征，和对应语音的梅尔频率倒谱系数特征以及说话人特征进行拼接，形成混合特征，作为时间延迟及长短时记忆混合神经网络的输入；

步骤104)所述时间延迟和长短时记忆混合神经网络对混合特征进行处理，输出语音的特征的后验概率，用于解码，得到识别出的语音，与原始语音进行比较后，进行前向反馈，最终得到训练好的混合声学模型。

4.根据权利要求3所述的基于混合声学模型的语音识别方法，其特征在于，在所述步骤103)之前还包括：

对卷积神经网络输出的特征降维到1024维，同时对梅尔频率倒谱系数特征和说话人特征拼接之后的特征进行整体维度转换到512维。