[发明专利]一种视听融合的语音识别系统

权利要求书

1.一种视听融合的语音识别系统，其特征在于：包括音频特征提取、视频特征提取、建立CHMM模型三个步骤，三个步骤之间的关系如下：CHMM可以通过节点之间的状态转移概率捕捉到音频和视频之间的相互作用关系，另外，对于耦合隐马尔科夫模型而言，音频链和视频链所利用的最大期望算法（EM算法）进行参数估计的过程是独立的。

2.根据权利要求1所述的一种视听融合的语音识别系统，其特征在于：所述音频特征提取步骤主要是为了得到MFCC系数。

3.根据权利要求2所述的音频特征提取步骤，其特征在于：所述得到MFCC系数的实现过程为首先对输入的语音信号进行分帧、加窗，然后作离散傅立叶变换，获得频谱分布信息，再求频谱幅度的平方，得到频率谱，再将每帧的频率谱参数通过一组M 个（ M 一般为20~30 个）三角形带通滤波器所组成的Mel频率滤波器，将每个频带的输出取对数，求出每一个输出的对数能量（log energy）Ek，k =1，2，... N，再将此M 个参数进行离散余弦变换得到MFCC系数。

4.根据权利要求1所述的一种视听融合的语音识别系统，其特征在于：所述视频特征提取步骤主要是为了得到人在说话过程中的唇部轮廓参数。

5.根据权利要求4所述的视频特征提取步骤，其特征在于：所述得到人在说话过程中的唇部轮廓参数的实现过程为首先对唇色进行分析，增强唇色，对图像进行二值化处理，然后根据嘴唇的形状特征四条曲线来构造唇部的轮廓。

6.根据权利要求1所述的一种视听融合的语音识别系统，其特征在于：所述建立CHMM模型步骤包括CHMM模型基本参数的定义和CHMM的训练两个过程。

7.根据权利要求6所述的建立CHMM模型步骤，其特征在于：所述CHMM的训练过程包括得到的初始化参数和对基本参数进行重估两个阶段，其中第一个阶段，CHMM参数的估计需要利用基于Viterbi算法得到的初始化参数，第二个阶段，采用EM算法对由第一阶段得到的基本参数进行重估。