[发明专利]一种基于深度神经网络的多模态语音识别方法

权利要求书

1.一种基于深度神经网络的多模态语音识别方法，其特征在于，所述方法包括以下步骤：

基于汉语音素构建句子级别的语料文本，并录制多模态数据，包括：彩色图像、深度图像、深度数据以及音频信息；

获取说话人发音过程中的唇部图像与音频信号，对唇部图像进行加窗分帧，对图像进行DCT变换及PCA降维，选取合适维度的图像特征与音频的MFCC特征做特征拼接，形成新的多模态音频特征；

搭建中文的自动语音识别系统，使用深度神经网络-隐马尔科夫模型进行声学模型的建模，并选取多模态语音特征拼接作为输入，进行训练与测试解码，降低字和句子的识别错误率。

2.根据权利要求1所述的一种基于深度神经网络的多模态语音识别方法，其特征在于，所述深度神经网络-隐马尔科夫模型的训练具体为：

基于受限玻尔兹曼机，对每一层进行预训练，训练算法是具有1步马尔可夫链蒙特卡罗采样的对比发散算法，第一个受限玻尔兹曼机采用高斯-伯努利单元，其余的RBM采用伯努利-伯努利单元；

训练属于无监督训练，只需提供输入数据目录，将训练数据的方差与小批量中的重建数据的方差进行比较。